部署Scrapy项目到腾讯云服务器

部署Scrapy项目到云服务器

准备工作

1.购买云服务器
2.编写好的scrapy爬虫项目
3.安装配置好python/python3环境的云服务器环境和本地环境

正文

说明

本人在本地环境使用的是windows系统，直接使用pip install scrapyd-client 安装scrapyd-client，执行scrapyd-deploy yoursitename -p yourprojectname命令会提示：***‘scrapyd-deploy’ 不是内部或外部命令，也不是可运行的程序*** ，需要再对scrapyd-client进行配置，做映射，太麻烦

（一）本地配置scrapyd-client

因此，为了避免这些不必要的麻烦，建议：
1.直接在scrapyd-client的GitHub上下载源码到本地
2.解压
3.命令行进入到解压后的包中含有 setup.py文件的目录
4.执行命令 python setup.py install
安装完成后

（二）修改scrapy.cfg配置信息

1.进入自己的scrapy项目目录，新版的scrapy项目默认都会生成一个scrapy.cfg配置文件，如果没有可以在命令行中进入到项目目录，执行命令：scrapyd-deploy -1 ，即可生成scrapy.cfg文件
2.打开scrapy.cfg配置文件修改：

[settings]
default = yourprojectname.settings #默认是配置好的，不用改

[deploy:iCloud] #将默认的-1修改成你的远程服务器名称（随便起）
url = http://13x.xxx.25.xx:6800/ #取消注释并将地址改成你的服务器地址，端口号不变
project = yourprojectname #修改成你的项目名称

本地环境到这里就配置好了

（三）配置远程服务器scrapyd

1.安装scrapyd
$ pip install scrapyd
2.修改scrapyd配置文件
$ find / -name default_scrapyd.conf #查找配置文件所在路径
进入到配置文件目录并打开配置文件修改配置信息
找到bind_address = 127.0.0.1这一行，并改为bind_address = 0.0.0.0 #不修改外网无法访问

3.运行命令
$ ‘/usr/local/python3/bin/scrapyd’ #注意是用单引号括起来的
如下图，即为启动成功

（四）配置腾讯云服务器安全组

1.Web端登录腾讯云账号，进入工作台，点击【安全组】

2.点击【新建】，模板选择第二个，其它默认

3.点击【修改规则】

4.选择【添加规则】，将ip设为：0.0.0.0/0，端口号TCP:6800,备注随便写，其它默认，点击【确定】，如图

5.在工作台选择【云主机】，操作点击【更多】，选择【配置安全组】

6.勾选刚才添加的安全组，点击【确定】
7.输入公网IP和端口号即可看到scrapyd页面，如图

（五）部署本地爬虫到云服务器

命令行进入本地scrapy项目目录：

命令格式
scrapyd-deploy <host> -p <project>

输入:scrapyd-deploy iCloud -p yourproject，可以看到服务器返回一段json格式的数据，部署成功

（六）检查

本地键入如下格式命令可检查部署的项目

scrapyd-deploy -L <host>

（七）启动爬虫

curl http://http://13x.xxx.25.xx:6800/schedule.json -d project=projectname -d spider=somespider

结束