WebMagic
文章平均质量分 94
西伯利亚大橘猫
这个作者很懒,什么都没留下…
展开
-
WebMagic编写基本的爬虫(三)
在WebMagic里,实现一个基本的爬虫只需要编写一个类,实现PageProcessor接口即可。这个类基本上包含了抓取一个网站,你需要写的所有代码。同时这部分还会介绍如何使用WebMagic的抽取API,以及最常见的抓取结果保存的问题。1 实现PageProcessor这部分我们直接通过GithubRepoPageProcessor这个例子来介绍PageProcessor的编写方...转载 2018-05-13 10:32:38 · 792 阅读 · 0 评论 -
爬虫的监控(四)
1 为项目添加监控添加监控非常简单,获取一个SpiderMonitor的单例SpiderMonitor.instance(),并将你想要监控的Spider注册进去即可。你可以注册多个Spider到SpiderMonitor中。public class MonitorExample { public static void main(String[] args) throws Except...转载 2018-05-15 09:58:33 · 3288 阅读 · 0 评论