分析网页得到链接

1. 用urllib2/sgmllib包，将目标网页的所有URL列出。 

 

import  urllib2

from  sgmllib  import  SGMLParser 

class  URLLister(SGMLParser):
     def  reset(self):                             
        SGMLParser.reset(self)
        self.urls  =  []

     def  start_a(self, attrs):                     
        href  =  [v  for  k, v  in  attrs  if  k == ' href ' ] 
         if  href:
            self.urls.extend(href)

f  =  urllib2.urlopen( " http://icode.csdn.net " )

if  f.code  ==   200 :
    parser  =  URLLister()
    parser.feed(f.read())
    f.close()
     for  url  in  parser.urls:  print  url

 

2. 使用BeautifulSoup分析数据

http://www.crummy.com/software/BeautifulSoup/ ，这里有很详细的文档