scrapy部署介绍相关的中文文档地址
https://scrapyd.readthedocs.io/en/latest/
安装相关库
scrapyd
是运行scrapy爬虫的服务程序,它支持以http命令方式发布、删除、启动、停止爬虫程序。而且scrapyd可以同时管理多个爬虫,每个爬虫还可以有多个版本
pip3 install scrapyd
scrapyd-client
发布爬虫需要使用另一个专用工具,就是将代码打包为EGG文件,其次需要将EGG文件上传到远程主机上这些操作需要scrapyd-client来帮助我们完成
pip3 install scrapyd-client
安装完成后可以使用如下命令来检查是否安装成功
scrapyd-deploy -h
修改scrapy项目目录下的scrapy.cfg配置文件
[deploy]
url=http://localhost:6800
project=项目名称
本地部署
项目部署相关命令: 注意这里是项目的名称而不是工程的名称
scrapyd-deploy -p <项目名称>
也可以指定版本号
scrapyd-deploy -p <项目名称> --version <版本号>
远端部署
step1 购买linux系统服务器
step2 在终端上登录服务器
ssh ubuntu@118.23.256.219
step3 配置项目运行环境
-
配置python环境(ubuntu自带python3环境))
-
安装pip3:sudo apt install python3-pip
-
安装scrapy:
pip3 install scrapy -i https://pypi.douban.com/simple/
-
如果安装失败添加如下依赖:
sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
-
安装scrapyd:
pip