基于 Scrapy_redis 部署scrapy分布式爬虫 使用命令行工具下载工具包(scrapy_redis) 打开 Pycharm 找到你的项目,打开项目中 settings 文件,配置 scrapy 项目使用的调度器和过滤器 修改spider爬虫文件 4.如果连接的有远程服务,例如MySQL,Redis等,需要将远程服务连接开启,保证在其他主机上能够成功连接 接下来配置远程连接的MySQL及redis地址List item