WebMagic使用JMX实现了对爬虫的监控,可以通过Jconsole等JMX工具查看本地或者远程的爬虫信息。
为爬虫添加监控:
获取一个SpiderMonitor的实例SpiderMonitor.instance(),并将要监控的Spider注册进去即可。可以注册多个Spider到SpiderMonitor中。
Spider spider=Spider.create();
SpiderMonitor.instance().register(spider);
spider.start();