发现在使用scrapy_redis组件时,运行爬虫时,在redis数据库里面只有items数据列表和去重指纹集合,但没有scrapy的请求request数据列表,经过不断测试,发现只有在停止爬虫爬取时,才可以在redis数据库里面看到scrapy的request数据列表。
爬取前的redis数据库,里面内容为空。
数据爬取中时,观察发现只有Items和dupefilter数据,但没有scrapy request数据。
停止爬虫时,发现redis数据库里面已经有items dupefilter 和 request数据。
总结:其实redis里面是有请求队列request的,只不过请求的数量是动态变化的,如果请求数量为空则会在redis可视化桌面工具看不到的。