scrpayd安装与scrapy爬虫的部署

最新推荐文章于 2024-08-05 06:47:28 发布

nopotential

最新推荐文章于 2024-08-05 06:47:28 发布

阅读量2.3k

点赞数

分类专栏： scrapy scrapyd 文章标签： scrapy scrapyd 爬虫

本文链接：https://blog.csdn.net/nopotential/article/details/56291056

版权

本文介绍了如何在Ubuntu 16.04上安装Scrapyd，包括安装过程、启动与关闭服务。接着，详细讲解了如何使用scrapyd-client部署Scrapy项目，调度爬虫的启动、停止以及从Scrapyd中移除项目。最后，提到了部署后生成的文件夹及其作用。

摘要由CSDN通过智能技术生成

以前我用scrapy写爬虫的时候都是通过crawl来执行的，但这样的运行方式只能执行一个爬虫，如果想同时运行多个爬虫可以考虑使用scrapyd的方式，也就是scrapy server。查看http://scrapyd.readthedocs.io/en/stable/index.html 了解更多关于scrapyd的知识。

在 ubuntu 上安装scrapyd

我是把scrapyd放到了虚拟机上，下面是我在ubuntu 16.04上安装scrpayd的过程。
scrapyd 一下三个包，但是使用pip安装scrapy时可以自动安装。

Python 2.6及以上版本
Twisted 8.0及以上版本
Scrapy 0.17及以上版本

scrapyd对乌班图带有特有的乌班图安装包，这个安装包可以很大程度上简化管理工作，但是根据官方文档的说法，ubuntu16.04可能不支持。（其他的操作系统可没有这个）
所以我们直接使用pip进行安装。

pip install scrapyd

安装之后控制台会显示类似的输出

Successfully installed scrapyd
Cleaning up...

启动scrapyd

命令行输入

scrapyd

会得到类似下面的输出，表示scrapyd服务器启动成功,至此我们便可以开始下一步–部署scrapy项目。

2017-02-20T15:43:08+0800 [-] Loading /usr/local/lib/python2.7/dist-packages/scrapyd/txapp.py...
2017-02-20T15:43:08+0800 [-] Scrapyd web console available at http://0.0.0.0:6800/
2017-02-20T15:43:08+0800 [-] Loaded.
2017-02-20T15:43:08+0800 [twisted.scripts._twistd_unix.UnixAppLogger#info] twistd 16.6.0 (/usr/bin/python 2.7.12) starting up.
2017-02-20T15:43:08+0800 [twisted.scripts._twistd_unix.UnixAppLogger#info] reactor class: twisted.internet.epollreactor.EPollReactor.
2017-02-20T15:43:08