爬虫去重策略

1)将访问过的URL存储在数据库中，每次要访问一个URL时，就从数据库中查询该URL是否已经被访问过，这种方法占用内存太大，而且每次访问一个URL
都需要到数据库中查询，效率十分低下。

2）将访问过的URL存储在set中，可以在O(1)的时间内查询到一个URL是否存在于set中，但是缺点是，占用内存大，比如有1亿条URL，占用的内存是：

   1000000000*2byte*50字符/1024/1024/1024 = 9G(假设字符使用的是unicode编码，每一个字符占2字节，每一个URL有50个字符)
3)URL通过MD5（可以将任意长度的字符缩减成固定长度，使占用内存进行压缩）等方法哈希后存储在set中，既能在O(1)时间内查询，又压缩了URL的存
储空间（scrapy使用的就是类似的方法）
4）使用bitmap方法，将访问过的URL通过hash函数映射到某一位上，这种方法可以大大压缩URL的存储空间，但是缺点是，会有很多的映射冲突，即多个
不同的URL映射到一个位上
5）使用bloomfilter方法对bitmap进行改进，多重哈希函数降低冲突，是对4）的改进，既能降低冲突，又能大大压缩内存