Liberaion的博客

原创 scrapyd部署爬虫项目

scrapyd部署爬虫项目： 功能：它就相当于是一个服务器，用于将自己本地的爬虫代码，打包上传到服务器上，让这个爬虫在服务器上运行，可以实现对爬虫的远程管理。(远程启动爬虫，远程关闭爬虫，远程查看爬虫的一些日志。) 1.Scrapd的安装。 Pip install scrapyd 2.如何将本地的爬虫项目Deploying(打包)，上传至scrapyd这个服务中。 a>scrapyd提供了一...