爬取网页内容首先要做的就是得到链接,以下是得到链接的代码:
#coding=utf-8
import urllib2 # 引入需要用的模块
import re
# 下载网页源代码
def download(url,user_agent = 'wswp',num_retries = 2):
'''
@user_agent:设置代理
@num_retries:设置重新下载的次数
'''
print 'Downloading:',url
headers = {'User-agent':user_agent}
request = urllib2.Request(url)
try: # 异常处理
html = urllib2.urlopen(request).read()
except urllib2.URLError as e:
print 'Download error:',e.reason # 输出错误原因
html = None
if num_retries > 0:
if hasattr(e,'code') and 500 <= e.code < 600:
# 当错误提示中包含错误代码而且代码是500~600之间的数字时,执行下列代码
download(url,user_agent,num_retries - 1)
return html
# 得到html文件中的链接
def get_links(html):
webpage_regex = re.compile('<a[^>]+href=["\'](.*?)["\']',re.IGNORECASE)
return webpage_regex(html)
# 抓取链接
def link_crawler(seed_url,link_regex):
crawl_queue = [seed_url]
while crawl_queue:
url = crawl_queue.pop()
html = download(url)
for link in get_links(html): # 遍历get_links(html)得到的列表
if re.match(link_regex,link): # 判断link是否符合给定的正则表达式
crawl_queue.append(link)
# 调用link_crawler函数
link_crawler('http://example.webscraping.com','/[index|view]')
以上为完整的程序代码。对于正则表达式的相关知识,可以看
http://www.cnblogs.com/huxi/archive/2010/07/04/1771073.html,个人认为这篇博文挺好的。
由于在一些网页中会存在相对链接,上面的代码就不中用了。可以看下面完善的代码(需要引入urlparse模块):
def link_crawler(seed_url,link_regex):
crawl_queue = [seed_url]
while crawl_queue:
url = crawl_queue.pop()
html = download(url)
for link in get_links(html):
if re.match(link_regex,link):
link = urlparse.urljoin(link) # 将相对url地址改为绝对url地址
crawl_queue.append(link)
这时,相对链接的问题就解决了,但是还有一个问题,那就是重复链接的问题。不废话了,看下面的代码:
def link_crawler(seed_url,link_regex):
crawl_queue = [seed_url]
# set函数用于输出不带重复内容的列表(列表中的重复内容会被删掉)
seen = set(crawl_queue) # 访问过得链接
while crawl_queue:
url = crawl_queue.pop()
html = download(url)
for link in get_links(html):
if re.match(link_regex,link):
link = urlparse.urljoin(link)
if link not in seen: # 判断此链接是否在已访问链接列表中
seen.add(link)
crawl_queue.append(link)
ok了,终于可以爬取网页中所包含的所有链接了,而且还是逐层访问哦。