爬虫
西伯利亚大橘猫
这个作者很懒,什么都没留下…
展开
-
(爬虫)webmagic的基础介绍(一)
原文来自:http://webmagic.io/docs/zh/1. 一个框架,一个领域一个好的框架必然凝聚了领域知识。WebMagic的设计参考了业界最优秀的爬虫Scrapy,而实现则应用了HttpClient、Jsoup等Java世界最成熟的工具,目标就是做一个Java语言Web爬虫的教科书般的实现。如果你是爬虫开发老手,那么WebMagic会非常容易上手,它几乎使用Java原生的开发方式,只...转载 2018-05-03 22:09:01 · 341 阅读 · 0 评论 -
爬虫的监控(四)
1 为项目添加监控添加监控非常简单,获取一个SpiderMonitor的单例SpiderMonitor.instance(),并将你想要监控的Spider注册进去即可。你可以注册多个Spider到SpiderMonitor中。public class MonitorExample { public static void main(String[] args) throws Except...转载 2018-05-15 09:58:33 · 3288 阅读 · 0 评论