1.Spider(整个爬虫的调度框架)
2.Downloader(页面下载)
3.PageProcessor(链接提取和页面分析)
4.Scheduler(URL管理)
5.Pipeline(离线分析和持久化)
WebMagic简述
最新推荐文章于 2021-12-10 15:50:06 发布
1.Spider(整个爬虫的调度框架)
2.Downloader(页面下载)
3.PageProcessor(链接提取和页面分析)
4.Scheduler(URL管理)
5.Pipeline(离线分析和持久化)