跟踪链接实现python爬虫

爬取网页内容首先要做的就是得到链接，以下是得到链接的代码：

#coding=utf-8

import urllib2	# 引入需要用的模块
import re

# 下载网页源代码
def download(url,user_agent = 'wswp',num_retries = 2):
    '''
    @user_agent:设置代理
    @num_retries:设置重新下载的次数
    '''
    print 'Downloading:',url
    headers = {'User-agent':user_agent}     
    request = urllib2.Request(url)
    try:     # 异常处理
        html = urllib2.urlopen(request).read()
    except urllib2.URLError as e:
        print 'Download error:',e.reason    # 输出错误原因
        html = None
        if num_retries > 0:         
            if hasattr(e,'code') and 500 <= e.code < 600:
                # 当错误提示中包含错误代码而且代码是500~600之间的数字时，执行下列代码
                download(url,user_agent,num_retries - 1)
    return html


# 得到html文件中的链接
def get_links(html):
    webpage_regex = re.compile('<a[^>]+href=["\'](.*?)["\']',re.IGNORECASE)
    return webpage_regex(html)

# 抓取链接
def link_crawler(seed_url,link_regex):
    crawl_queue = [seed_url]
    while crawl_queue:
        url = crawl_queue.pop()
        html = download(url)
        for link in get_links(html):	# 遍历get_links(html)得到的列表
            if re.match(link_regex,link):	# 判断link是否符合给定的正则表达式
                crawl_queue.append(link)
                
# 调用link_crawler函数
link_crawler('http://example.webscraping.com','/[index|view]')

以上为完整的程序代码。对于正则表达式的相关知识，可以看 http://www.cnblogs.com/huxi/archive/2010/07/04/1771073.html，个人认为这篇博文挺好的。

由于在一些网页中会存在相对链接，上面的代码就不中用了。可以看下面完善的代码（需要引入urlparse模块）：

def link_crawler(seed_url,link_regex):
    crawl_queue = [seed_url]
    while crawl_queue:
        url = crawl_queue.pop()
        html = download(url)
        for link in get_links(html):
            if re.match(link_regex,link):
                link = urlparse.urljoin(link)		# 将相对url地址改为绝对url地址
                crawl_queue.append(link)

这时，相对链接的问题就解决了，但是还有一个问题，那就是重复链接的问题。不废话了，看下面的代码：

def link_crawler(seed_url,link_regex):
    crawl_queue = [seed_url]
    # set函数用于输出不带重复内容的列表（列表中的重复内容会被删掉）
    seen = set(crawl_queue)     # 访问过得链接
    while crawl_queue:
        url = crawl_queue.pop()
        html = download(url)
        for link in get_links(html):   
            if re.match(link_regex,link):
                link = urlparse.urljoin(link)
                if link not in seen:    # 判断此链接是否在已访问链接列表中
                    seen.add(link)
                    crawl_queue.append(link)    

ok了，终于可以爬取网页中所包含的所有链接了，而且还是逐层访问哦。