基于scrapy_redis部署scrapy分布式爬虫

1.使用cmd命令窗口下载工具包 scrapy_redis

 2.使用PyCharm打开你的scrapy爬虫项目，找到settings.py文件，配置scrapy爬虫项目使用的调度器及过滤器

3.修改spiders目录下的爬虫文件

 4.如果你的scrapy爬虫项目连接的有远程服务，例如MySql数据库，Redis数据库等，需要将远程服务连接开启，保证在其他的主机上能够成功连接。

mysql数据库的相关操作：我安装的mysql是8.0版本（社区版）以及它对应的数据可视化软件： Navicat 12 for MySQL

打开mysql服务的两种方式：

方式一：在cmd命令窗口输入net start mysql80打开服务

如果出现这种错误：

以管理员身份运行cmd.exe即可

关闭mysql服务输入net stop mysql80即可

总结：net start + 服务名  ：启动windows中服务

          net stop + 服务名    ：关闭windows中服务

注意：Windows中服务名不区分大小写

方式二：进入Windows中服务的选项，找到MySQL80服务

win键+R 输入 services.msc 点击确定 或者 桌面鼠标右键点击此电脑，选择管理即可打开计算机管理，找到服务

登录与退出

在此之前需要配置环境变量，我的MySQL是安装在：C:\Program Files\MySQL\MySQL Server 8.0\bin下，不然系统不能识别MySQL命令

将C:\Program Files\MySQL\MySQL Server 8.0\bin路径添加到环境变量即可。

MySQL参数：

-u 用户名

-p 密码

-V 输出版本信息并且退出

-h 主机地址

连接本地：mysql -h127.0.0.1，连接其他主机的话，输入其他主机的ip地址

mysql -h127.0.0.1 -uroot -p 回车，然后输入你的密码，或者mysql -uroot -p 回车输入密码

接下来就可以操作你的数据库了，操作数据库的命令在这里我就不做太多的解释了。

接下来配置软件Navicat 12 for MySQL

打开软件Navicat 12 for MySQL，然后连接到MySQL的服务，连接成功后会发现有几个默认生成的数据库，找到名称为mysql的数据库，打开后找到名称为user的数据表，然后修改表中的数据，将字段名为User，表中数据为root的那一行的前面的数据改为%，以保证其他的主机能够远程连接你的数据库。如下图所示：

最后刷新权限，如下图：