scapyd scrapyd-client scrapy使用http调度spider.md

文档还是看英文的好，看中文的有些也是一知半解，反而会误解

基本概念

scrapyd

• scrapyd是使用http方式，管理维护scrapy工程应用服务器

• 管理scrapy工程部署，可以上传部署工程

• 管理spider，启动，停止，删除spider

• 管理scrapy日志，数据输出

• 官方文档url

scrapyd-client

• 使用scrapyd-client，打包scrapy工程

• scrapyd-deploy 上传scrapy工程到scrapd应用服务器

• github 官网url

安装过程

非Ubuntu，以下是mac平台的安装过程

• pip install scrapyd

• pip install scrapyd-client

scrapyd 配置

• 文档参考： configurations

• mac平台下安装的scrapyd，默认没有生成配置文件，最好先手动配置好文件，以免使用过程中碰到莫名其妙的问题，本人走过弯路

• 配置过程按照官网所谓通俗的做法如下

sudo mkdir /mnt/scrapyd   # 目录自己定义