Redis结合布隆去重，部署分布式爬虫

        如果想判断一个元素是不是在一个集合里，一般想到的是将所有元素保存起来，然后通过比较确定。链表，树等等数据结构都是这种思路. 但是随着集合中元素的增加，我们需要的存储空间越来越大，检索速度也越来越慢。不过世界上还有一种叫作散列表（又叫哈希表，Hash table）的数据结构。它可以通过一个Hash函数将一个元素映射成一个位阵列（Bit Array）中的一个点。这样一来，我们只要看看这个点是不是 1 就知道可以集合中有没有它了。这就是布隆过滤器的基本思想。

       布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法，缺点是有一定的误识别率（假正例False positives，即Bloom Filter报告某一元素存在于某集合中，但是实际上该元素并不在集合中）和删除困难，但是没有识别错误的情形（即假反例False negatives，如果某个元素确实没有在该集合中，那么Bloom Filter 是不会报告该元素存在于集合中的，所以不会漏报）

       如何用Redis结合布隆过滤，部署分布式爬虫？

1.将scrapy_redis包拷贝至scrapy项目中，注意是与项目同级

2.下载布隆过滤器py文件

https://github.com/liyaopinner/BloomFilter_imooc

将文件解压，并将拷贝至scrapy_redis包中

3.找到scrapy_redis中的dupefilter.py

 按上图修改完成

按照分布式爬虫部署步骤，继续进行即可使用布隆去重策略