本文介绍了如何基于scrapy_redis实现scrapy分布式爬虫。步骤包括安装scrapy_redis包，配置项目的调度器和过滤器，修改爬虫类继承自RedisSpider，处理远程服务连接如MySQL和Redis，以及启动和调度爬虫任务。通过这种方式，可以在多台服务器上运行相同的爬虫代码，提升数据抓取效率。
scrapy分布式爬虫是为了更快速的爬取更多的数据，将爬虫项目分部到多个主机上同时爬取数据。以下是基于scrapy_redis部署scrapy分布式。
1.首先打开命令行工具，在你的环境下下载scrapy_redis包，如果有虚拟环境，先进入虚拟环境再下载，在命令行中输入：pip install scrapy_redis。
2.下载过scrapy_redis包后，用pycharm打开我们的爬虫项目，找到settings文件，在里面配置scrapy项目使用的调度器和过滤器
。以下是配置图示：
3.在settings配置过之后，打开我们的spider爬虫文件，修改以下部分：
（1）引入scrapy_redis中的爬虫类，修改爬虫类继承的父类为RedisSpider
（2）将start_urls注释掉，写入redis_key = '爬虫项目名:star_urls
最低0.47元/天 解锁文章
扫一扫
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
