![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Scrapy
文章平均质量分 78
Xyns
这个作者很懒,什么都没留下…
展开
-
使用gerapy部署scrapy爬虫项目
启动gerapy服务首先需要保证Python环境中有gerpay包 没有的话可以使用pip install gerapy安装(文中所做操作均在Windows系统中)在cmd命令行工具中输入gerapy,这一步其实非必要,只是让你知道gerapy中的命令 给出的提示信息中是你可以执行的命令接下来在命令行中输入gerapy init 执行之后你会看到没有任何提示信息,但会在当前...原创 2018-04-14 18:12:26 · 3391 阅读 · 0 评论 -
手动部署scrapy爬虫项目到Scrapyd服务
部署scrapy项目到scrapyd服务上可以使用gerapy,很方便,而手动部署scrapy爬虫项目虽然相对要繁琐一些,但会让我们知道gerapy每一步是做了什么。建议使用虚拟环境,原因在于(1)可以在系统的Python解释器中避免包的混乱和版本的冲突(2)保持全局解释器的干净整洁,使其只作为创建更多虚拟环境的源。(3)不需要管理员权限启动scrapyd服务,就会在当前工作目录下保存所部...原创 2018-03-27 14:34:34 · 1541 阅读 · 0 评论 -
使用scrapy-redis实现分布式
要实现分布式,主机之间需要共享爬取队列和去冲击和,scrapy_redis就是将request调度队列、请求队列和获取的item放在了一个多台主机可以同时访问的Redis数据库中。配置 剖析源码的工作请根据需要自行学习,直接给出settings中的配置。一、必要配置以下配置是scrapy_redis实现分布式的核心1. 配置调度器和去重类这个选项是必须要进行配置的...原创 2018-07-07 14:34:22 · 724 阅读 · 0 评论