Scrapy-redis改造scrapy实现分布式多进程爬取

一.基本原理: Scrapy-Redis则是一个基于Redis的Scrapy分布式组件。它利用Redis对用于爬取的请求(Requests)进行存储和调度(Schedule),并对爬取产生的项目(items)存储以供后续处理使用。scrapy-redi重写了scrapy一些比较关键的代...

2017-06-21 16:54:44

阅读数:7064

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭