scrapyd安装部署

scrapyd（服务端）
scrapyd-client(客户端)

注意

本地要有scrapy项目

服务器本地都用这个命令

pip install scrapyd
#如果速度慢使用可以使用国内镜像
#（1）阿里云 http://mirrors.aliyun.com/pypi/simple/
#（2）豆瓣http://pypi.douban.com/simple/
#（3）清华大学 https://pypi.tuna.tsinghua.edu.cn/simple/
#（4）中国科学技术大学 http://pypi.mirrors.ustc.edu.cn/simple/
#（5）华中科技大学http://pypi.hustunique.com/
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pandas

scrapyd #运行

本地

本地打开127.0.0.1:6800

这个界面表示运行成功

服务器

scrapyd

如果报错
-bash：scrapyd: command not found
意思就是没有这个命令
需要设置软连接

ln -s /usr/local/python/bin/scrapyd   /usr/bin/scrapyd

根据自己实际情况
运行scrapyd

ip:6800#ip是你服务器ip

注意开启6800端口
例如阿里云服务器
设置安全组配置
更多详细请自行百度

客户端

进入scrapy项目
修改scrapy.cfg

# Automatically created by: scrapy startproject
#
# For more information about the [deploy] section see:
# https://scrapyd.readthedocs.io/en/latest/deploy.html

[settings]
default = myproject.settings

[deploy]
url = http://ip:6800/ #设置服务器ip 注意去掉注释
project = myproject 

执行scrapyd-deploy
windows 无法执行
找到自己的python安装目录

新建文件scrapyd-deploy.bat输入以下内容

@echo off

"F:\python37\python.exe" "F:\python37\Scripts\scrapyd-deploy" %1 %2 %3 %4 %5 %6 %7 %8 %9

根据自己安装的情况
然后就可以执行scrapyd-deploy
注意要和scrapy.cfg同一级目录

curl http://ip:6800/schedule.json -d project=myproject -d spider=project

出现这个表示上传服务器成功


完成