Scrapy爬虫项目的管理部署

前言

为了方便对爬虫项目的流程化管理，需要一款合适的工具。主要实现的功能有：
能对爬虫项目的管理做到“统一”、“稳定”、“方便”；
能够查看爬虫项目的运行情况，包括查看日志，控制台信息，告错预警信息等。

以切身实际需求来说，普通的Scrapy项目已能够满足信息采集的需求，不过充其量也就是一个脚本，怎么样能更进一步，形成一个完整的采集项目呢？对程序代码的检测，采集内容的检测，服务运行的情况统计等内容是必不可少的。
基于以上目标，学习搭建Scrapy爬虫项目的管理部署就显得十分重要了。

第一章 Scrapy的服务程序Scrapyd

1.了解Scrapyd

Scrapyd是一个运行Scrapy爬虫的服务程序，提供一系列HTTP接口来帮助部署、启动、停止和删除爬虫程序。Scrapyd支持版本管理，同时还可以管理多个爬虫任务，利用它可以方便的完成Scrapy爬虫项目的部署任务调度。

2.安装启动Scrapyd

在控制台中，安装命令如下：
pip3 install scrapyd

更详细的安装流程可以参考：https://setup.scrape.center/scrapyd

安装完成后，启动Scrapyd的命令如下:
scrapyd

3.访问Scrapyd

Scrapy 默认会在6800端口上运行。访问服务器的6800端口，就可以看到一个WebUI页面。
如下图所示࿱