Java爬虫基础—认识爬虫—爬虫上手

初识爬虫

一、WebMagic简介

WebMagic的设计参考了业界最优秀的爬虫Scrapy，而实现则应用了HttpClient、Jsoup等Java世界最成熟的工具，目标就是做一个Java语言Web爬虫的教科书般的实现。

WebMagic的结构分为Downloader、PageProcessor、Scheduler、Pipeline四大组件，这四大组件对应爬虫生命周期中的下载、处理、管理和持久化等功能。由Spider将它们彼此组织起来，让它们可以互相交互，流程化的执行，可以认为Spider是一个大的容器，它也是WebMagic逻辑的核心。

1、webmagic原理图

2、webmagic四大组件

2.1 Downloader

负责从互联网上下载页面，以便后续处理。WebMagic默认使用了Apache HttpClient作为下载工具。

2.2 PageProcessor

负责解析页面，抽取有用信息，以及发现新的链接。WebMagic使用Jsoup作为HTML解析工具，并基于其开发了解析XPath的工具Xsoup。在这四个组件中，PageProcessor对于每个站点每个页面都不一样，是需要使用者定制的部分。

2.3 Scheduler

负责管理待抓取的URL，以及一些去重的工作。WebMagic默认提供了JDK的内存队列来管理URL，并用集合来进行去重，也支持使用Redis进行分布式管理。除非项目有一些特殊的分布式需求，否则无需自己定制Scheduler。

2.4 Pipeline

负责抽取结果的处理，包括计算、持久化到文件、数据库等。WebMagic默认提供了”输出到控制台”和“保存到文件”两种结果处理方案。

Pipeline定义了结果保存的方式，如果你要保存到指定数据库，则需要编写对应的Pipeline。对于一类需求一般只需编写一个Pipeline。

3、用于数据流转的对象

3.1 Request

Request是对URL地址的一层封装，一个Request对应一个URL地址。它是PageProcessor与Downloader交互的载体，也是PageProcessor控制Downloader唯一方式。除了URL本身外，它还包含一个Key-Value结构的字段extra。你可以在extra中保存一些特殊的属性，然后在其他地方读取，以完成不同的功能，例如附加上一个页面的一些信息等。

3.2 Page

Page代表从Downloader下载到的一个页面——可能是HTML，也可能是JSON或者其他文本格式的内容。Page是WebMagic抽取过程的核心对象，它提供一些方法可供抽取、结果保存等。

3.3 ResultItems

ResultItems相当于一个Map，它保存PageProcessor处理的结果，供Pipeline使用。它的API与Map很类似，值得注意的是它有一个字段skip，若设置为true，则不应被Pipeline处理。

4、控制爬虫运转的引擎——Spider

Spider是WebMagic内部流程的核心。Downloader、PageProcessor、Scheduler、Pipeline都是Spider的一个属性，这些属性是可以自由设置的，通过设置这个属性可以实现不同的功能。Spider也是WebMagic操作的入口，它封装了爬虫的创建、启动、停止、多线程等功能。

二、开始爬虫

1、准备工作

1.1 pom.xml中添加相应依赖

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.java.Spider</groupId>
    <artifactId>Spider</artifactId>
    <version>1.0-SNAPSHOT</version>

    <dependencies>

        <!--测试-->
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
        </dependency>

        <!--核心功能依赖-->
        <dependency>
            <groupId>us.codecraft</groupId>
            <artifactId>webmagic-core</artifactId>
            <version>0.7.3</version>
        </dependency>

        <!--扩展功能依赖-->
        <dependency>
            <groupId>us.codecraft</groupId>
            <artifactId>webmagic-extension</artifactId>
            <version>0.7.3</version>
            <!--WebMagic使用slf4j-log4j12作为slf4j的实现.如果你自己定制了slf4j的实现，请在项目中去掉此依赖-->
            <exclusions>
                <exclusion>
                    <groupId>org.slf4j</groupId>
                    <artifactId>slf4j-log4j12</artifactId>
                </exclusion>
            </exclusions>
        </dependency>

    </dependencies>

</project>

1.2 log4j.properties

### 设置###
log4j.rootLogger = info,stdout,D,E

### 输出信息到控制台 ###
log4j.appender.stdout = org.apache.log4j.ConsoleAppender
log4j.appender.stdout.Target = System.out
log4j.appender.stdout.layout = org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern = [%-5p] %d{yyyy-MM-dd HH:mm:ss,SSS} %m%n

### 输出DEBUG级别以上的日志到=E://logs/error.log ###
log4j.appender.D = org.apache.log4j.DailyRollingFileAppender
log4j.appender.D.File = D://logs/log.log
log4j.appender.D.Append = true
log4j.appender.D.Threshold = DEBUG
log4j.appender.D.layout = org.apache.log4j.PatternLayout
log4j.appender.D.layout.ConversionPattern = %-d{yyyy-MM-dd HH:mm:ss}  [ %t:%r ] - [ %p ]  %m%n

### 输出ERROR 级别以上的日志到=E://logs/error.log ###
log4j.appender.E = org.apache.log4j.DailyRollingFileAppender
log4j.appender.E.File =D://logs/error.log
log4j.appender.E.Append = true
log4j.appender.E.Threshold = ERROR
log4j.appender.E.layout = org.apache.log4j.PatternLayout
log4j.appender.E.layout.ConversionPattern = %-d{yyyy-MM-dd HH:mm:ss}  [ %t:%r ] - [ %p ]  %m%n

2、编写一个简单的爬虫项目

package com.java.spider;

import org.junit.Test;
import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.pipeline.FilePipeline;
import us.codecraft.webmagic.pipeline.JsonFilePipeline;
import us.codecraft.webmagic.processor.PageProcessor;

import java.util.List;

/**
 * @author Liushun
 * @date Created in 2019/9/19 21:11
 * @description 第一个爬虫程序：创建一个类，继承 PageProcessor
 */
public class Spider1 implements PageProcessor {
    // 实例化site对象
    private Site site = Site.me();

    // 用三种选择器（css选择器，xpath，正则表达式），搭配解析page源码页面
    @Override
    public void process(Page page) {

        // 1、css选择器，只能定位到标签,爬取每条新闻的网址和标题
        List<String> news1 = page.getHtml().css("div.hotnews ul li strong a").all();
        // 存储到resultItems
        page.putField("hotnews",news1);

        // 2、xpath选择器,可获取标签里的文本内容
        List<String> news2 = page.getHtml().xpath("//div[@id='pane-news']/ul[1]/li/a/text()").all();
        // 存储到resultItems
        page.putField("hotnews",news2);

        // 爬取批量的网页
        // 1、定义一个范围，links()获取匹配的超链接a标签的href属性值,关联子页面的url
        List<String> hrefs = page.getHtml().css("div.hotnews ul li strong a").links().all();
        // 2、将hrefs存到url队列中
        page.addTargetRequests(hrefs);
        List<String> news3 = page.getHtml().xpath("//div[@class='text_area']/p[2]").all();
        page.putField("news",news3);


    }

    @Override
    public Site getSite() {
        return site;
    }

    @Test
    public void SpiderTest1(){
        Spider.create(new Spider1())
                // 从https://news.baidu.com开始抓取
                .addUrl("https://news.baidu.com")
                // 启动爬虫
                .run();
    }

    @Test
    public void SpiderTest2(){
        Spider.create(new Spider1())
                // 从https://news.baidu.com开始抓取
                .addUrl("https://news.baidu.com")
                // 设置Pipeline，将结果以html方式保存到本地文件
                .addPipeline(new FilePipeline("E:\\Java\\spider"))
                // 启动爬虫
                .run();
    }

    // 爬取批量的网页（子网页的具体内容），关联PageProcessor,设置爬取的url并开始启动
    @Test
    public void SpiderTest3(){


        Spider.create(new Spider1())
                .addUrl("https://news.baidu.com/")
                // 默认将爬取的结果输出到控制台，可不写
                // .addPipeline(new ConsolePipeline())
                // 设置Pipeline，将结果以json方式保存到本地文件
                .addPipeline(new JsonFilePipeline("E:\\Java\\spider"))
                // 开启5个线程同时执行
                .thread(5)
                // 启动爬虫
                .run();
    }
}