基于Python3.X部署分布式爬虫

配置前提：安装有Python3.x 以及MySQL8.0 跟scrapy框架、Windows操作平台
1、配置redis服务器
安装redis服务器下载链接：https://github.com/MicrosoftArchive/redis/releases
安装步骤我就不过多解释了
安装完成后进入redis服务器安装目录，找到redis.windows.conf这个文件修改里面的内容，找到bind，把后面改成0.0.0.0如下图：

在redis目录下打开按住shift键右键打开cmd命令窗口输入redis-server.exe redis.windows.conf

如果报下面这个错

按照下图输入redis-cli 回车 再输入shoutdown 回车 再输入exit回车

出现下图则redis服务器配置成功!

2、配置Scrapy_redis
首先在命令窗口输入pip install scrapy_redis命令安Scrapy_redis。
使用pycharm打开项目,找到settings文件,配置scrapy项目使用的调度器及过滤器，修改下面内容


修改spider文件

3、配置MySQL
安装有Navicat 12 for MySQL 可视化工具这个工具自行百度下载！通过可视化工具进入数据库修改以下文件，如下图：
找到mysql这个数据库打开表找到user表把root前面改成%

点对勾保存，再刷新一下权限即可

4、配置scrapyd跟scrapyd-client模块
打开命令窗口输入 pip install scrapyd

安装完成后在命令窗口输入scrapyd

打开浏览器输入127.0.0.1:6800 即可查看

如果以上都没有问题，现在可以关掉scrapyd服务器，在电脑上任意一个盘下创建一个文件夹，名字随意，进入文件夹，按shift键右键打开命令窗口输入scrapyd命令，然后你会发现你创建的文件夹内多出一个dbs文件夹，这个文件夹是用来存放爬虫项目的数据文件
安装scrapyd-client模块，scrapyd-client模块是专门打包scrapy爬虫项目到scrapyd服务中的，打开命令行工具输入pip install scrapyd-client。
安装完成后你的Python安装目录里会出现一个Scripts文件夹

这个文件夹内中会出现scrapyd-deploy无后缀文件，这个无后缀文件在windows下是无法运行的，所以我们需要编辑一下使其在windows可以运行。

新建一个txt文件，将其重命名为scrapyd-deploy，把txt后缀改为bat，然后右键选择编辑，输入以下配置：
@echo off
“C:\Users\qianzhen\Envs\scrapySpider\Scripts\python.exe” “C:\Users\qianzhen\Envs\scrapySpider\Scripts\scrapyd-deploy” %1 %2 %3 %4 %5 %6 %7 %8 %9

注意：两个路径之间是空格，一定要使用双引号。单引号的话会错误。两个路经是自己的python路经
5、打开爬虫项目中的scrapy.cfg文件，这个文件就是给scrapyd-deploy使用的将url这行代码解掉注释，并且给设置你的部署名称，名称随意

再次执行scrapyd-deploy -l 启动服务，可以看到设置的名称

在命令窗口执行一个命令：scrapy list

执行打包命令： scrapyd-deploy 部署名称 -p 项目名称

执行后，如果出现
则打包成功
输入curl http://localhost:6800/schedule.json -d project=项目名称 -d spider=爬虫名称，如果出现下图则运行成功

可以去网页中127.0.0.1:6800查看爬虫运行状态