![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
WebMagic
Mir ?
一枚程序猿
展开
-
WebMagic架构
Doc: http://webmagic.io/docs/zh/Git Source: https://github.com/code4craft/webmagic1.2 总体架构WebMagic的结构分为Downloader、PageProcessor、Scheduler、Pipeline四大组件,并由Spider将它们彼此组织起来。这四大组件对应爬虫生命周期中的下载转载 2016-12-09 15:22:07 · 782 阅读 · 0 评论 -
WebMagic Doc
Doc: http://webmagic.io/docs/zh/Git Source: https://github.com/code4craft/webmagic4.2 使用Selectable的链式APISelectable相关的链式API是WebMagic的一个核心功能。使用Selectable接口,你可以直接完成页面元素的链式抽取,也无需去关心抽取的细节。转载 2016-12-09 15:29:48 · 740 阅读 · 0 评论