1.Spider(整个爬虫的调度框架)
2.Downloader(页面下载)
3.PageProcessor(链接提取和页面分析)
4.Scheduler(URL管理)
5.Pipeline(离线分析和持久化)
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
1.Spider(整个爬虫的调度框架)
2.Downloader(页面下载)
3.PageProcessor(链接提取和页面分析)
4.Scheduler(URL管理)
5.Pipeline(离线分析和持久化)
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
