- 博客(1)
- 收藏
- 关注
转载 scrapy 爬取流程 -- 数据流(Data flow)
Scrapy中的数据流由执行引擎控制,其过程如下: 引擎打开一个网站(open a domain),找到处理该网站的Spider并向该spider请求第一个要爬取的URL(s)。 引擎从Spider中获取到第一个要爬取的URL并在调度器(Scheduler)以Request调度。 引擎向调度器请求下一个要爬取的URL。 调度器返回下一个要爬取的URL给引擎,引擎将URL通过下载中间件(请求(request)方向)转发给下载器(Downloader)。 一旦页面下载完毕,下载器生成一个该页...
2020-07-11 17:29:03
610
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人