解决 Scrapy-redis内存占用过高问题（不仅仅使用 BloomFilter 优化 scrapy-redis 去重）

Scrapy-Reids 内存占用过高问题

在使用网上盛传的 BloomFilter 降低 Redis 内存使用之后，一开始效果还行，内存使用增长比以前慢一点，但是随着请求数量的增多，虽然 filter 内存占用减少了，但是请求占用的内存随着请求的增多爆炸式增长。

scrapy-redis 内存大致使用在三个方面：

• scrapy 运行过程中使用的内存
• redis 数据库中 filter 占用的内存
• redis 数据库中 请求占用的内存

尽量降低内存使用办法：

• scrapy 运行过程中使用的内存，在编写爬虫时，注意一下内存泄露。

• filter 按照网上的教程，将默认的filter 修改成 BloomFilter。

• 控制 redis 中请求的数量。

  关于请求数量控制问题，网上没有很好的解决办法（也许是我没找到），解决这个问题，只能从源码中下手了。

思路：在 Scrapy 推送请求到 redis 数据库之前，判断redis数据库中请求的数量，如果达到一个峰值，在推送之前或者推送之后，从数据库中拿一个请求出来请求数据。
在源码里摸爬滚打就不唠叨了，直接上教程。

源码分析

scrapy/core/engine.py 文件123 ~ 125 行的 while 循环作用是不停的从队列（redis数据库）里取一个请求出来下载请求。