![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
scrapy
温室花朵
这个作者很懒,什么都没留下…
展开
-
爬虫-scrapy
scrapy文档地址:http://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/overview.html Scrapy 使用了Twisted['twɪstɪd]异步网络框架,可以加快我们的下载速度。Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架,我们只需要实现少量的代码,就能够快速的抓取。 异步和非阻塞的区别 前面我们说Twisted是...原创 2019-03-28 20:01:06 · 112 阅读 · 0 评论 -
scrapy工作流程
主要看图理解:先理解流程,在学习就简单 之前的爬虫的工作流程: 下面我们来看看scrapy 的工作流程: 其流程可以描述如下: 调度器把requests–>引擎–>下载中间件—>下载器 下载器发送请求,获取响应---->下载中间件---->引擎—>爬虫中间件—>爬虫 爬虫提取url地址,组装成request对象---->爬虫中间件—>引擎—...原创 2019-03-28 20:10:39 · 348 阅读 · 0 评论