WebMagic监控方案设计

最新推荐文章于 2020-12-29 23:34:37 发布

weixin_34132768

最新推荐文章于 2020-12-29 23:34:37 发布

阅读量161

点赞数

文章标签： python 爬虫

原文链接：https://my.oschina.net/flashsword/blog/223283

版权

2019独角兽企业重金招聘Python工程师标准>>>

这是0.5.0新增的功能，目前仍在开发和测试中，欢迎提出意见。

目前的计划是：提供JMX API，可以使用JConsole等工具连接，然后在外部提供一个Web项目，可以在Web页面上进行监控。欢迎去github #issue98反馈意见。

监控的启动方式

实例化一个SpiderMonitor即可。

public static void main(String[] args) throws JMException,
        NullPointerException,
        IOException {
    Spider oschinaSpider = Spider.create(new OschinaBlogPageProcessor())
            .addUrl("http://my.oschina.net/flashsword/blog").thread(2);
    Spider githubSpider = Spider.create(new GithubRepoPageProcessor())
            .addUrl("https://github.com/code4craft");
    SpiderMonitor spiderMonitor = new SpiderMonitor();
    spiderMonitor.register(oschinaSpider, githubSpider);
    spiderMonitor.jmxStart();
}

监控接口

这个监控接口会包含抓取的URL等信息。

public interface SpiderStatusMBean {

    public String getName();

    public String getStatus();

    public int getThread();

    public int getTotalPageCount();

    public int getLeftPageCount();

    public int getSuccessPageCount();

    public int getErrorPageCount();

    public List<String> getErrorPages();

    public void start();

    public void stop();

}