平时爬虫一般都使用Scrapy框架，通常都是在一台机器上跑，爬取速度也不能达到预期效果，数据量小，而且很容易就会被封禁IP或者账号，这时候可以使用代理IP或者登录方式爬，然而代理IP很多时候都很鸡肋，除非使用付费版IP，但是和真实IP差别很大。这时候便有了Scrapy-redis分布式爬虫框架，它基于Scrapy改造，把Scrapy的调度器（scheduler）换成了Scrapy-redis的调度器，可以轻松达到目的，利用多台服务器来爬取数据，而且还可以自动去重，效率高。爬取的数据默认保存在redis缓存中，速度很快。
Scrapy工作原理：
Scrapy-redis工作原理：
中间的就是调度器
豆瓣电影简易分布式爬虫
我这里直接使用start_urls的方式，数据存入到Mysql中
settings.py文件
这里只是为了多台服务器一起爬取，没有手动在redis中推入起始的URL
此时将爬虫项目上传到其他服务器上，一起开始
效果如下：
1514
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
