爬虫之URL去重

URL去重

我们在写爬虫时为什么需要进行URL去重？

1. 在爬虫启动工作的过程中，我们不希望同一个url地址被多次请求，因为重复请求不仅会浪费CPU，还会降低爬虫的效率，加大对方服务器的压力。而想要控制这种重复请求的问题，就要考虑请求所依据的url，只要能够控制待下载的URL不重复，基本可以解决同一个网页重复请求的问题。
2. 对于已经抓取过的url，进行持久化，并且在启动的时候加载进入去重队列，是一个比较强的需求。 它主要应对爬虫故障重跑，不需要重新请求所有链接

URL去重及策略简介

从表面上看，url去重策略就是消除url重复的方法，常见的url去重策略有五种，如下：

# 1.将访问过的ur保存到数据库中
# 2.将访问过的ur保存到set(集合)中,只需要o(1)的代价就可以查询url
#       10000000*2byte*50个字符/1024/1024/1024=9G
# 3.url经过md5等方法哈希后保存到set（或者Redis中）中
# 4. bloomfilter方法对 bitmap进行改进,多重hash函数降低冲突

方式一：将访问过的ur保存到数据库中

实现起来最简单，但效率最低。
其核心思想是，把页面上爬取到的每个url存储到数据库，为了避免重复，每次存储前都要遍历查询数据库中当前url是否存在（即是否已经爬取过了）,若存在，则不保存，否则，保存当前url,继续保存下一条，直至结束。

方式二：将访问过的ur保存到set内存中

实现简单，原理和方式一类似，使用这种方式存取方便，基本不用查询，但是如果url过多，则会占用极大的内存，浪费空间。

# 简单计算：假设有1亿条url,每个url平均长度为50个字符，python里unicode编码，每个字符16位，占2
# 个字节（byte）
# 计算式：10^8 x 50个字符 x 2个byte / 1024 / 1024 / 1024 = 9G
#                                    B      M      G
如果是2亿个url,那么占用内存将达18G，也不是特别方便，适合小型爬虫。