python爬虫url_python爬虫初探（二）：URL管理器和下载器

爬虫初探系列一共4篇，耐心看完，我相信你就能基本了解爬虫是怎样工作的了，目录如下：

代码已上传至github，在python2.7下测试成功(请原谅我浓浓的乡村非主流代码风格)summerliehu/SimpleSpiderFramework

上一篇谈到了控制整个爬虫循环的“调度器”，下面来谈谈URL管理器和下载器。

首先，还是来看看下面这张图，URL管理器到底应该具有哪些功能？URL下载器应该包含两个仓库，分别存放没有爬取过的链接和已经爬取过的链接。

应该有一些函数负责往上述两个仓库里添加链接

应该有一个函数负责从新url仓库中随机取出一条链接以便下载器爬取

URL下载器应该能识别重复的链接，已经爬取过的链接就不需要放进仓库了

如果一个URL管理器能够具有以上4点功能，也算是“麻雀虽小，五脏俱全”了。然而，链接去重这个功能，应该怎么实现？

链接去重是关系爬虫效率的一个比较关键的点，尤其是爬取的数据量极大的时候。在这个简单的例子里，由于数据量较少，我们不需要太过复杂的算法，直接借助于python的set()函数(查看说明)即可，该函数可以生成一个集合对象，其元素不可重复。以后我们再专门针对链接去重这个话题展开讨论。

根据以上分析，URL管理器的w代码如下：

'''UrlManager'''

class UrlManager(object):

def __init__(self):

#初始化的时候就生成两个url仓库

self.new_urls = set()

self.old_urls = set()

#判断新url仓库中是否还有没有爬取的url

def has_new_url(self):

return len(self.new_urls)

#从new_url仓库获取一个新的url

def get_new_url(self):

return self.new_urls.pop()

def add_new_url(self, url): #这个函数后来用不到了……

'''将一条url添加到new_urls仓库中parm url: strreturn:'''

if url is None:

return

#只需要判断old_urls中没有该链接即可，new_urls在添加的时候会自动去重

if url not in self.old_urls:

self.new_urls.add(url)

def add_new_urls(self, urls):

'''将多条url添加到new_urls仓库中parm url: 可迭代对象return:'''

print "start add_new_urls"

if urls is None or len(urls) == 0:

return

for url in urls:

self.add_new_url(url)

def add_old_url(self, url):

self.old_urls.add(url)

print "add old url succefully"

#获取已经爬取过的url的数目

def old_url_size(self):

return len(self.old_urls)

下面来说说下载器。

下载器的作用就是接受URL管理器传递给它的一个url，然后把该网页的内容下载下来。python自带有urllib和urllib2等库(这两个库在python3中合并为urllib)，它们的作用就是获取指定的网页内容。不过，在这里我们要使用一个更加简洁好用而且功能更加强大的模块：Requests(查看文档)。

Requests并非python自带模块，需要安装。关于其具体使用方法请查看相关文档，在此不多做介绍。

下载器接受一个url作为参数，返回值为下载到的网页内容(格式为str)。下面就是一个简单的下载器，其中只有一个简单的函数download()：

'''-----------------------------------------------------------------HtmlDownloader'''

class HtmlDownloader(object):

def download(self, url):

print "start download"

if url is None:

return None

print "url is None"

user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36'

headers = {'User-Agent':user_agent}

print "start requests"

r = requests.get(url, headers=headers)

#判断响应状态

if r.status_code == 200:

r.encoding = 'utf-8'

print "该页面下载成功！{}".format(url)

return r.text

else:

print "该页面下载失败！{}".format(url)

return None

在requests请求中设置User-Agent的目的是伪装成浏览器，这是一只优秀的爬虫应该有的觉悟。

URL管理器和下载器相对简单，下一节以百度百科的爬取为例，重点介绍解析器和数据存储器。

本文的写作过程中参考了以下资料：

《Python爬虫开发与项目实战》，范传辉 编著(推荐阅读)

《Python网络数据采集》[美] 米切尔(Ryan Mitchell) 著