python核心教程：scrapyd和scrapydweb使用详细教程

Ⅰ、首先要搞清楚几个概念
1、scrapy是什么？
一个爬虫框架，你可以创建一个scrapy项目
2、scrapyd是什么？
相当于一个组件，能够将scrapy项目进行远程部署，调度使用等
因此scrapyd可以看作一个cs（client-server）程序，因此毫无疑问我们需要安装和配置scrapyd(server)
和连接的scrapy-client(client)
3、scrapydweb是什么？
是一个基于scrapyd的可视化组件，集成并且提供更多可视化功能和更优美的界面

总结：三者如同葫芦套娃，总共三层

II、安装scrapy和创建一个scrapy项目
安装scrapyd和scrapyd-client和配置
1、安装

pip install scrapyd
pip install scrapy-client

安装完成后，在cmd中启动命令

scrapyd

在浏览器中输入：http://localhost:6800/，如果出现下面界面则表示启动成功（不要关闭cmd，后面步骤还需要）
2、配置
①配置scrapy项目
打开scrapy项目，有个scrapy.cfg文件，按如下进行配置