把爬虫项目部署到服务器

一、安装第三方库：

pip install scrapyd:服务端

pip install scrapyd-client：客户端

二、部署

scrapy.cfg为部署文件

启动服务器

运行scrapyd服务

在终端输入：scrapyd，默认端口6800

修改部署文件

url注释掉，在切入到爬虫项目里面在终端执行scrapyd-deploy deploy后面起的名字 -p 项目名

激活

cul http://localhost:6800/schedule.json -d project=项目名 -d spider=爬虫文件名

也可以部署多个爬虫项目只需要重复上面的步骤即可

输入127.0.0.0:6800可以查看爬虫运行状态