scrapy
mr.ocean
持以进步,恒以为功
展开
-
Scrapy分布式原理
scrapy架构首先我们先看一下Scrapy的单机架构也就是说scrapy的单机架构实际上实在本机维护一个爬取队列,用Scheduler进行调度,如果我们要实现scarpy的分布式,就需要多台主机协同操作,那么问题来了多台主机协作的关键是什么?实际上就是共享爬取队列:核心就是将这个队列进行共享,让多台主机都能访问,然后让各个主机的Scheduler进行调度,这样就可以共享requests...原创 2020-03-03 18:01:30 · 359 阅读 · 0 评论 -
scrapy命令行详解
前言最近闲来无事,在使用scrapy写爬虫时发现自己在终端中却只会创建项目和运行scrapy shell,后来查看了一些scapy命令行的官方文档,发现其中几个还是挺有意思的。scrapy命令行官方文档命令行介绍scrapy -h 显示可用的命令行工具scrapy -h # 可显示所有可用的命令创建项目,创建完成之后可用tree命令查看一下目录结构 1. 创建项目: scrapy...原创 2020-02-27 12:59:49 · 1145 阅读 · 0 评论