![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
3+2=小5?
一个菜鸡码农
展开
-
使用Scrapyd部署爬虫
一、Scrapyd简介和安装 1、认识scrapyd 按一般的部署方法,部署分布式爬虫需要每个服务器复制代码、用命令行运行,非常繁杂,管理起来也不方便,如爬虫版本更新,可能需要所有服务器进行具体代码的更新。另外,用户也不能方便地查看各个爬虫的运行情况。 Scrapyd:一个部署和运行Scrapy爬虫的应用程序,它使用户能在网页查看正在执行的任务,能通过JSON API部署(上传)工程和控制工程中的爬虫,如新建爬虫任务、终止爬虫任务等。 2、安装 命令行安装: pip install scrapyd 运行原创 2020-06-12 08:51:58 · 302 阅读 · 0 评论 -
scrapy_redis实现分布式爬虫
一、认识与安装scrapy_redis库 1、认识scrapy_redis库 scrapy_redis库:提供了所需的功能,scrapy_redis改写了scrapy的调度器、队列等组件,利用这个库可以方便地实现scrapy分布式架构。 2、安装scrapy_redis库 pip install scrapy_redis 二、代码编写 1、修改settings中的配置信息 (1)替换scrapy调度器,使用scrapy_redis调度。 SCHEDULER = “scrapy_redis.schedu原创 2020-06-09 10:47:22 · 175 阅读 · 0 评论