网络爬虫知识 day09

1.2.2 编写页面解析功能

1.3 使用和定制Pipeline

        在WebMagic中，Pileline是抽取结束后，进行处理的部分，它主要用于抽取结果的保存，也可以定制Pileline可以实现一些通用的功能。在这里我们会定制Pipeline实现数据导入到数据库中

1.3.1 Pipeline输出

        Pipeline的接口定义如下：

        public interface Pipeline {

             // ResultItems保存了抽取结果，它是一个Map结构，

            // 在page.putField(key,value)中保存的数据，

            //可以通过ResultItems.get(key)获取

            public void process(ResultItems resultItems, Task task);

        }

        可以看到，Pipeline其实就是将PageProcessor抽取的结果，继续进行了处理的，其实在Pipeline中完成的功能，你基本上也可以直接在PageProcessor实现，那么为什么会有Pipeline？有几个原因：

        * 为了模块分离

      “页面抽取”和“后处理、持久化”是爬虫的两个阶段，将其分离开来，一个是代码结构比较清晰，另一个是以后也可能将其处理过程分开，分开在独立的线程以至于不同的机器执行。

        * Pipeline的功能比较固定，更容易做成通用组件

        每个页面的抽取方式千变万化，但是后续处理方式则比较固定，例如保存到文件、保存到数据库这种操作，这些对所有页面都是通用的。

        在WebMagic里，一个Spider可以有多个Pipeline，使用Spider.addPipeline()即可增加一个Pipeline。这些Pipeline都会得到处理，例如可以使用spider.addPipeline(new ConsolePipeline()).addPipeline(new FilePipeline())实现输出结果到控制台，并且保存到文件的目标。

1.3.2 已有的Pipeline

        WebMagic中就已经提供了控制台输出、保存到文件、保存为JSON格式的文件几种通用的Pipeline。

1.3.3 自定义Pipeline导入数据

        自定义SpringDataPipeline：

        

        在JobProcessor中修改process()启动的逻辑，添加代码：

        @Autowired

        private SpringDataPipeline springDataPipeline;

        public void process() {

                Spider.create(new JobProcessor())

                .addUrl(url)

                .addPipeline(this.springDataPipeline)

                .setScheduler(new QueueScheduler()

                .setDuplicateRemover(new BloomFilterDuplicateRemover(10000000)))

            .thread(5)

            .run();

}