[源码学习][知了开发]WebMagic-OOSpider

最新推荐文章于 2023-06-14 22:13:40 发布

wsrspirit

最新推荐文章于 2023-06-14 22:13:40 发布

阅读量5.8k

点赞数 1

分类专栏：源码阅读知了APP 文章标签： WebMagic 源码分析 OOSpider 注解编程注入

本文链接：https://blog.csdn.net/WSRspirit/article/details/51971708

版权

本文介绍了WebMagic的OOSpider特性，它提供了注解方式来编写爬虫，简化了传统Spider的配置。文章详细讲解了OOSpider的初始化、解析过程、注入机制，以及PageProcessor接口的工作原理。OOSpider通过ModelPipeline和PageModelExtractor实现了数据处理和注入，使得爬虫开发更加便捷。

摘要由CSDN通过智能技术生成

写在前面

之前两篇博客基本上讲完了Spider，四大组件还有三个包装类没有讲，这篇博客讲讲一下OOSpider，也是对Spider的一个补充，但是我觉得OOSpider是WebMagic的一个很强大的功能，提供了注解的爬虫，官网地址：
http://webmagic.io/docs/zh/posts/ch5-annotation/README.html

例子

先看一下怎么使用注解编写爬虫

@TargetUrl("https://github.com/\\w+/\\w+")
@HelpUrl("https://github.com/\\w+")
public class GithubRepo {
   

    @ExtractBy(value = "//h1[@class='entry-title public']/strong/a/text()", notNull = true)
    private String name;

    @ExtractByUrl("https://github\\.com/(\\w+)/.*")
    private String author;

    @ExtractBy("//div[@id='readme']/tidyText()")
    private String readme;

    public static void main(String[] args) {
        OOSpider.create(Site.me().setSleepTime(1000)
                , new ConsolePageModelPipeline(), GithubRepo.class)
                .addUrl("https://github.com/code4craft").thread(5).run();
    }
}

在我第一眼看到使用注解的方式爬虫，我最想说的是，“太TMD的Java了”，真的很佩服作者，所以我们来走一下这个流程。

你所需要的知识

首先你要知道什么是注解，这里不需要你有依赖注入的知识，不懂Spring也行，还有就是需要理解反射。

OOSpider

先让我们看看OOSpider这个类吧

public class OOSpider<T> extends Spider {

    private ModelPageProcessor modelPageProcessor;

    private ModelPipeline modelPipeline;

    private PageModelPipeline pageModelPipeline;

    private List<Class> pageModelClasses = new ArrayList<Class>();

    protected OOSpider(ModelPageProcessor modelPageProcessor) {
        super(modelPageProcessor);
        this.modelPageProcessor = modelPageProcessor;
    }

    public OOSpider(PageProcessor pageProcessor) {
        super(pageProcessor);
    }

    /**
     * create a spider
     *
     * @param site site
     * @param pageModelPipeline pageModelPipeline
     * @param pageModels pageModels
     */
    public OOSpider(Site site, PageModelPipeline pageModelPipeline, Class... pageModels) {
        this(ModelPageProcessor.create(site, pageModels));
        this.modelPipeline = new ModelPipeline();
        super.addPipeline(modelPipeline);
        for (Class pageModel : pageModels) {
            if (pageModelPipeline != null) {
                this.modelPipeline.put(pageModel, pageModelPipeline);
            }
            pageModelClasses.add(pageModel);
        }
    }

    @Override
    protected CollectorPipeline getCollectorPipeline() {
        return new PageModelCollectorPipeline<T>(pageModelClasses.get(0));
    }

    public static OOSpider create(Site site, Class... pageModels) {
        return new OOSpider(site, null, pageModels);
    }

    public static OOSpider create(Site site, PageModelPipeline pageModelPipeline, Class... pageModels) {
        return new OOSpider(site, pageModelPipeline, pageModels);
    }

    public OOSpider addPageModel(PageModelPipeline pageModelPipeline, Class... pageModels) {
        for (Class pageModel : pageModels) {
            modelPageProcessor.addPageModel(pageModel);
            modelPipeline.put(pa