Pyspider基本介绍
1、pyspider的架构
pyspider 的架构 主要分为 Scheduler (调度器)、 Fetcher ( 抓取器)、 Processer (处理器) 三个部分,整个爬取过程受到 Monitor (监控器)的监控,抓取的结果被 Result Worker (结果处理器)处理
Scheduler 发起任务调度
Fetcher 负责抓取网页内容
Processer 负责解析网页内容,然后将新生成的 Request 发给 Scheduler 进行调度,将生成的提取结果输出保存
任务执行流程:
每个
原创
2020-08-14 17:15:51 ·
3707 阅读 ·
0 评论