Java-网络爬虫(二)

已于 2024-01-12 11:58:46 修改
阅读量1.8k 收藏 25
点赞数 14
分类专栏： 入门教程 文章标签： java 爬虫 开发语言
于 2024-01-06 16:50:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xhmico/article/details/135342986
版权

文章目录

上篇：Java-网络爬虫(一)
下篇：Java-网络爬虫(三)

前言

之前有介绍过传统实现爬虫的技术 HttpClient 和 Jsoup，并提供了一些案例，但是作为企业级的应用，还是远远不够的，竟然如此就需要一些更深入的技术 WebMagic。

一、WebMagic

在这里插入图片描述

官网：https://webmagic.io/

WebMagic 是一款基于 Java 的开源网络爬虫框架，底层是 HttpClient 和 Jsoup，它提供了简单、灵活、强大的爬取功能，可以用于抓取网页数据、图片、文件等。WebMagic 的设计参考了 Scapy ，但是实现方式更 Java 化一些。

该框架分为核心和扩展两个部分，核心部分是一个精简、模块化的爬虫实现，而扩展部分则包括一些便利的、实用性的功能。

  • 核心部分（webmagic core）：提供非常简单、灵活的 API，在基本不改变开发模式的情况下，编写一个爬虫
  • 扩展部分（webmagic extension）：提供一些便捷的功能，例如注解模式编写爬虫等，同时内置了一些常用的组件，便于开发

优点：

  • 多语言支持：提供了 Python 和 Scala 等语言的版本，能够适应不同开发者的需求
  • 任务调度：能够与 Quartz 等任务调度框架结合使用，实现定时爬取数据的功能
  • 多线程支持：能够利用多核 CPU 提高爬虫效率
  • 功能强大：支持 Cookie、代理等功能，能够模拟登录、避免反爬等操作
  • 数据存储：支持多种格式的数据存储，如 MySQL、Redis、Elasticsearch 等，方便后续数据处理
  • 常处理：能够处理一些异常情况，如页面 404、解析错误等，提高爬虫的健壮性
  • 易于学习和使用：WebMagic 的核心非常简单，但是覆盖了爬虫的整个流程，也是很好的学习爬虫开发的材料。它提供简单灵活的 API，只需少量代码即可实现一个爬虫
  • 模块化和可扩展性：采用完全模块化的设计，功能覆盖整个爬虫的生命周期（链接提取、页面下载、内容抽取、持久化），支持多线程抓取，分布式抓取，并支持自动重试、自定义UA/cookie 等功能
  • 支持爬取动态渲染的页面：支持爬取 js 动态渲染的页面
  • 无框架依赖：无框架依赖，可以灵活地嵌入到项目中

架构介绍：

在这里插入图片描述

WebMagic 的结构分为 Downloader、PageProcessor、Scheduler、Pipeline 四大组件，这四大组件对应爬虫生命周期中的下载、处理、管理和持久化等功能。

  • Downloader：
    • Downloader 负责从互联网上下载页面，以便后续处理，WebMagic 默认使用了 Apache HttpClient 作为下载工具
  • PageProcessor：
    • PageProcessor 负责解析页面，抽取有用信息，以及发现新的链接。WebMagic 使用 Jsoup 作为 HTML 解析工具，并基于其开发了解析 XPath 的工具 Xsoup
  • Scheduler：
    • Scheduler 负责管理待抓取的 URL，以及一些去重的工作。WebMagic 默认提供了 JDK 的内存队列来管理 URL，并用集合来进行去重。也支持使用 Redis 进行分布式管理
  • Pipeline：
    • Pipeline 负责抽取结果的处理，包括计算、持久化到文件、数据库等。WebMagic 默认提供了 “输出到控制台” 和 “保存到文件” 两种结果处理方案

用于数据流转的对象：

  • Request：
    • Request 是对 URL 地址的一层封装，一个 Request 对应一个 URL 地址，它是 PageProcessor 于 Downloader 交互的载体，也是 PageProcessor 控制 Downloader 的唯一方式。除了 URL 本身，它还包含一个 Key-Value 结构的字段 extra，可以在 extra 中保存一些特殊的属性，然后在其它地方读取，以完成不同的功能
  • Page：
    • Page 代表了从 Downloader 下载到的一个页面 — 可能是 HTML，也可能是 JSON 或者其它文本格式的内容。Page 是 WebMagic 抽取过程的核心对象，它提供了一些方法可供抽取、结果保存等
  • ResultItems：
    • ResultItems 相当于一个 Map，它保存 PageProcessor 处理的结果，供 Pipeline 使用，它的 API 与 Map 很类似，值得注意的是它有一个字段 skip，若设置为 true 则不应被 Pipeline 处理

而 Spider 则将这几个组件组织起来，让它们可以互相交互，流程化的执行，可以认为 Spider 是一个大的容器，它也是 WebMagic 逻辑的核心。

工作原理：

从架构图中可以得知：

  • ① 一个 http请求（其实 http 请求之后也会转换为 Request）进入到 Downloader 之后会进行页面下载，输出 Page
  • ② Page 经过 PageProcessor 之后开始解析页面，会有两种输出类型：Request 和 ResultItems，对应两种情况
    • 情况一：输出的是 Request
      • ③ 根据解析的逻辑如果发现需要进一步爬取的 url 地址，则产生一些新的 Request 进入 Scheduler 等待进一步抓取
      • ④ Downloader 会从 Scheduler 拉取待处理的 Request
      • ⑤ 执行 ①
    • 情况二：输出的是 ResultItems
      • ③ 需要抽取的数据会封装到 ResultItems 中，再流转至 Pipeline
      • ④ Pipeline 对抽取的结果进行处理

二、使用步骤

1. 搭建 Maven 项目

如果有一个 Maven 工程的项目，可跳过

打开 IDEA 工具，点击 File -> New -> Project... 创建一个项目

在这里插入图片描述

选择 Maven

在这里插入图片描述

设置项目保存地址，点击 Finish

在这里插入图片描述

创建完成

在这里插入图片描述

不过使用 WebMagic 一般会将爬取到的结果数据持久到数据中，所以这里建议是搭建 SpringBoot 或者 SpringCloud 项目，但是搭建这些项目不是本文的重点，如果想要搭建简单的 SpringBoot 项目可参见 SpringBoot - 快速搭建

2. 引入依赖

WebMagic 分为两个部分：核心和扩展，可在 Maven 仓库 中查询这这两个依赖

在这里插入图片描述

<!-- webMagic -->
<dependency>
    <groupId>us.codecraft</groupId>
    <artifactId>webmagic-core</artifactId>
    <version>0.10.0</version>
</dependency>
<dependency>
    <groupId>us.codecraft</groupId>
    <artifactId>webmagic-extension</artifactId>
    <version>0.10.0</version>
</dependency>

三、入门案例

还是使用 WebMagic 爬取一个网站为例作为入门，在上篇博客中我们爬取了 https://www.rgbku.com/chaxun.html（rgb颜色查询器） 这个网站的表格信息，现在我们使用 WebMagic 获取底部链接的信息

在这里插入图片描述
html 源码：

在这里插入图片描述

查看 html 源码可知只需要获取到<div> 为类 .zh -> <div> -> <span> -> <a>，然后再拿到 <a> 标签的 href 属性内容即可

代码编写：

import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.processor.PageProcessor;
import us.codecraft.webmagic.selector.Html;

import java.util.ArrayList;
import java.util.List;

public class TestProcessorDemo implements PageProcessor {

    @Override
    public void process(Page page) {

        // 通过 page 获取 Html 对象
        Html html = page.getHtml();

        // 通过 Html 可以获取到 Document
        Document document = html.getDocument();
        // 有了 Document 就能够通过 Jsoup 的一些操作进行解析，比如说获取 <a> 标签元素
        Elements aElements = document.select("div.zh > div > span > a");
        // 创建 List 集合用于存放 <a> 标签的超链接信息
        List<String> links = new ArrayList<>();
        for (Element aElement : aElements) {
            // 获取 <a> 标签中的链接
            String href = aElement.attr("href");
            // 添加到集合中
            links.add(href);
        }
        System.err.println("links = " + links);

        /*
         * 不过一般也不会用 Jsoup 的方式来解析 Html
         * WebMagic 有一些解析器可以较为方便的拿到这些元素，比如使用 css 解析器
         */
        List<String> href = html.css("div.zh > div > span > a", "href").all();
        // 在将结果封装到 ResultItems（默认设置下会打印在控制台上）
        page.putField("href", href);
    }

    @Override
    public Site getSite() {
        return PageProcessor.super.getSite();
    }

    public static void main(String[] args) {
        Spider.create(new TestProcessorDemo())
                // 设置起始的 URL
                .addUrl("https://www.rgbku.com/chaxun.html")
                // 在当前线程中执行爬虫
                //.run();
                // 在新线程中执行爬虫
                .start();
    }
}

运行结果如下：

在这里插入图片描述

可以看到是能够成功获取得到想要的数据。

如果查看过 WebMagic 的核心包中的源码，可以发现其实有几个现成的 demo 案例

在这里插入图片描述

四、核心对象&组件

在上述案例中有使用过 PageProcessor、Page、Site、ResultItems、Spider 等对象，以下内容我会结合源码对这些对象和组件的一些概要说明

在这里插入图片描述

1. 核心对象

Sipder

可以认为 Spider 是一个大的容器，它也是 WebMagic 逻辑的核心。它的作用是：将各个组件组织起来，使它们能够相互协作，形成一个完整的爬虫系统。它负责管理和调度各个组件的运行，以确保整个爬虫过程的顺利进行。

获取 Spider 对象的方法有两个，要么通过构造方法 new 出来，要么使用静态方法 create(PageProcessor pageProcessor) 创建出来：

public class Spider implements Runnable, Task {

	...
	
    public static Spider create(PageProcessor pageProcessor) {
        return new Spider(pageProcessor);
    }

    public Spider(PageProcessor pageProcessor) {
        this.newUrlCondition = this.newUrlLock.newCondition();
        this.pageCount = new AtomicLong(0L);
        this.emptySleepTime = 30000L;
        this.pageProcessor = pageProcessor;
        this.site = pageProcessor.getSite();
    }
    
	...

}

例如上述入门案例中就是使用 create 的方式

Spider spider = Spider.create(new TestProcessorDemo());

从源码上也可以看到 Spider 中包含了 webMaigc 的四大组件的影子

在这里插入图片描述

所以才说它是一个大的容器，同时 Spider 中有各个组件的配置以及线程相关的方法，是 webMagic 的核心

相关 API

方法说明
static Spider create(PageProcessor pageProcessor)创建 Spider
Spider addUrl(String… urls)添加初始 URL
Spider thread(int threadNum)开启 n 个线程
void run()启动，会阻塞当前线程执行
void start()异步启动，当前线程继续执行
void runAsync()异步启动，当前线程继续执行
void stop()停止爬虫
Spider addPipeline(Pipeline pipeline)添加一个 Pipeline
Spider setPipelines(List pipelines)添加多个 Pipeline
Spider setScheduler(Scheduler scheduler)设置 Scheduler
Spider setDownloader(Downloader downloader)设置 Downloader
T get(String url)同步调用，并直接获取结果
List getAll(Collection urls)同步调用，并直接取得一堆结果

Request

Request 是对 URL 地址的一层封装，一个 Request 对象对应一个 URL 地址。

在这里插入图片描述

从源码上可以看到 Request 对象中包含了发送一个 http 请求的所有要素，包括 url 地址、请求类型、请求参数、cookie 和 header 等等，还包含一个 Key-Value 结构的字段 extra 。可以在 extra 中保存一些特殊的属性，然后在其他地方读取，以完成不同的功能。

之前说 http 在进入到下载组件 Download 是便会转化成 Request 对象，可以通过入门案例中的代码

spider.addUrl("https://www.rgbku.com/chaxun.html")

进入到 addUrl(String... urls) 方法中看到

public class Spider implements Runnable, Task {

	...
	
    public Spider addUrl(String... urls) {
        String[] var2 = urls;
        int var3 = urls.length;

        for(int var4 = 0; var4 < var3; ++var4) {
            String url = var2[var4];
            // 将 url 转化成 Request 对象，加载到调度器 Scheduler 中 
            this.addRequest(new Request(url));
        }

        this.signalNewUrl();
        return this;
    }
    
	...

}

Site

Site 对象用于配置站点本身的一些配置信息，例如编码、HTTP 头、超时时间、重试策略等、代理等。其中待解析的域名存放在 domain 这个属性中

在这里插入图片描述

通过设置 Site 对象，可以对爬虫的行为进行详细配置，以满足不同的需求。具体来说，Site 对象可以设置以下配置信息：

  • 编码：用于指定站点的字符编码方式，以确保爬虫能够正确解析页面内容
  • HTTP头：用于设置请求头信息，以模拟浏览器行为，增加爬虫的隐蔽性
  • 超时时间：用于设置爬虫请求的超时时间，以避免因网络延迟等原因导致请求等待过长时间
  • 重试策略：用于设置爬虫在遇到请求失败时是否进行重试以及重试的次数和间隔等
  • 代理：用于设置代理服务器地址和端口等信息，以便通过代理访问目标站点

Site 对象提供的配置方法如下：

方法说明
setCharset(String charset)设置字符编码方式，以确保爬虫能够正确解析页面内容
setUserAgent(String userAgent)设置用户代理，用于标识发送请求的客户端应用或设备，更好的模拟游览器发送请求
Site setDomain(String domain)设置域名，需要设置域名后，addCookie() 才会生效
setSleepTime(int sleepTime)设置爬虫在抓取下一个页面之前等待的时间，以避免过于频繁的请求导致被目标站点封禁
setTimeOut(int timeOut)设置爬虫请求的超时时间，以避免因网络延迟等原因导致请求等待过长时间
setRetrySleepTime(int retrySleepTime)设置爬虫在遇到请求失败时的重试间隔时间
setRetryTimes(int retryTimes)设置爬虫在遇到请求失败时的重试次数
addHeader(String key, String value)添加请求头信息，以模拟浏览器行为，增加爬虫的隐蔽性
addCookie(String key, String value)添加 Cookie 信息，以模拟浏览器会话信息，增加爬虫的隐蔽性

通过合理配置 Site 对象的参数，可以优化爬虫的性能，提高爬虫的效率和成功率，增加爬虫的隐蔽性。

之前提到过 domian 存放的是待解析域名，从入门案例中的 addUrl(String... urls) -> addRequest(Request request) 可以看到这条逻辑，当然不止这一处

public class Spider implements Runnable, Task {

	...
	
    private void addRequest(Request request) {
        if (this.site.getDomain() == null && request != null && request.getUrl() != null) {
        	// 将清洗过的 url 存放到 Site 的 domain 属性中
            this.site.setDomain(UrlUtils.getDomain(request.getUrl()));
        }

        this.scheduler.push(request, this);
    }
    
	...

}

在 上篇：Java-网络爬虫(一) 博客中有通过 HttpClient 的 execute(HttpUriRequest var1) 方法来发送请求（HttpGet、HttpPost...均实现了 HttpUriRequest）

        // 创建 httpClient 对象
        CloseableHttpClient httpClient = HttpClients.createDefault();
        // 创建 httpGet 对象，设置访问 URL
        HttpGet httpGet = new HttpGet("https://www.rgbku.com/chaxun.html");
        // 发送请求
        response = httpClient.execute(httpGet);

在 webMagic 中底层也是使用 HttpClient 来发送请求的，不够首先要通过 Site 和 Request 获取到 HttpUriRequest 和 HttpContext 对象，进而就可以执行HttpClient 的 execute(HttpUriRequest var1, HttpContext var2) 方法发送请求获取响应信息了

Page

Page 对象是用于处理和封装从目标网站下载得到的 HTML 页面内容的一种对象

在这里插入图片描述

该对象最重要的两个作用就是获取 Html 对象，而 Html 对象是解析网页十分重要的对象，其次是该 Page 对象能够能够将封装好的 ResultItems 对象传送给存储器 Pipeline 做持久化处理

常用方法：

方法说明
getHtml()获取当前页面的 Html对象
String getRawText()获取当前页面的文本内容
putField(String key, Object field)以 key-value 的形式封装信息到 ResultItems 中
addTargetRequests(Iterable requests)用于添加目标请求的方法

ResultItems

ResultItems 是一个 Map 对象，用于保存 PageProcessor 处理的结果，供Pipeline使用。它的 API 与 Map 类似，可以保存各种类型的数据，包括字符串、列表、字典等

在这里插入图片描述

ResultItems 的主要作用是作为 PageProcessor 和 Pipeline 之间的数据传输媒介。当 PageProcessor 处理完一个页面后，可以将处理结果保存到 ResultItems 中，然后由 Pipeline 进行处理。这样可以方便地实现数据的提取、清洗、过滤等操作，并将结果持久化到文件、数据库等地方

ResultItems 还提供了一些额外的方法来控制结果的输出和处理。例如，可以通过 setSkip(true) 方法来跳过当前的结果，不进行后续的处理和输出。此外，ResultItems 还提供了 getExtra() 方法，用于获取一些自定义的数据和属性

总的来说，WebMagic 中的 ResultItems 是一个重要的组件，它充当了 PageProcessor 和 Pipeline 之间的桥梁，使得数据的处理和输出更加灵活和方便。

Html（Selectable）

通过入门案例中使用 page.getHtml() 能够获取到一个 Html 对象，解析相关的操作都与该对象有关，而这个对象实现了 Selectable

在这里插入图片描述

在 WebMagic 中，Selectable 是一个重要的接口，它定义了一系列链式 API 调用方式

在这里插入图片描述

抽取元素的四种方式：

Selectable 里主要支持了四种抽取技术：XPath、正则表达式和 CSS 选择器。另外，对于 JSON 格式的内容，可使用 JsonPath 进行解析。

  • 方式一：XPath 选择器

XPath 的教程可参考：https://www.w3cschool.cn/xpath/

在这里插入图片描述

例如：入门案例中获取<a>标签中的链接的代码可改写为：

List<String> href = html.xpath("//div[@class=zh]/div/span/a/@href").all();
  • 方式二：regex（正则表达式）选择器

正则表达式-基础教程：https://blog.csdn.net/xhmico/article/details/126729869

正则表达式是一种通用的文本抽取语言，一般会用这种方式获取 url 地址等

例如：入门案例中获取<a>标签中的链接的代码可改写为：

page.putField("links", page.getHtml().regex("[a-zA-z]+://[^\\s][^\" ]*").all());
  • CSS 选择器

入门案例中使用的就是这种方式获取元素，CSS 选择器是与 XPath 类似的语言，但相对于 XPath 而言简单一点，只要对 css 语法熟悉，写起来应该是比较简单的。比方说入门案例<a>标签中的链接的代码还可以改成：

List<String> href = html.css(".zh a", "href").all();
  • JsonPath 选择器

JsonPath 是于 XPath 很类似的一个语言，它用于从 Json 中快速定位一条内容

关于它的使用可参考：JsonPath完全介绍及详细使用教程

API：

Selectable 提供了一系列链式 API 调用方式，支持多种选择器，包括 xpath、css、regex和 jsonPath 等。用户可以使用这些选择器方便地获取所需元素的信息，同时还提供了诸如获取链接等便利方法。简单来说就是根据特定的方法抽取 html 页面的信息。使用 Selectable 接口，可以直接完成页面元素的链式抽取，也无需去关心抽取的细节。

public interface Selectable {
    Selectable xpath(String var1);

    Selectable $(String var1);

    Selectable $(String var1, String var2);

    Selectable css(String var1);

    Selectable css(String var1, String var2);

    Selectable smartContent();

    Selectable links();

    Selectable regex(String var1);

    Selectable regex(String var1, int var2);

    Selectable replace(String var1, String var2);

    String toString();

    String get();

    boolean match();

    List<String> all();

    Selectable jsonPath(String var1);

    Selectable select(Selector var1);

    Selectable selectList(Selector var1);

    List<Selectable> nodes();
}

以下是 Selectable 常用 API 的介绍

方法说明示例
Selectable xpath(String var1)使用 XPath 选择器html.xpath(“//div[@class=‘title’]”)
Selectable regex(String var1)使用正则表达式抽取html.regex(“(.*?)”)
Selectable regex(String var1, int var2)使用正则表达式抽取，并指定捕获组html.regex(“(.*?)”,1)
Selectable $(String var1)使用 Css 选择器选择html.$(“div.title”)
Selectable $(String var1, String var2)使用 Css 选择器选择html.$(“div.title”,“text”)
Selectable css(String var1)功能同$()，使用 Css 选择器选择html.css(“div.title”)
Selectable css(String var1, String var2)功能同$()，使用Css选择器选择html.css(“div.title”,“text”)
Selectable jsonPath(String var1)使用 JsonPath 选择器选择html.jsonPath(“$.*”)
Selectable links()获取所有链接，如果链接为相对地址会自动拼接html.links()
Selectable replace(String regex, String replacement)替换内容html.replace(“”,“”)
String get()返回一条String类型的结果String link= html.links().get()
String toString()功能同 get()，返回一条 String 类型的结果String link= html.links().toString()
List all()返回所有抽取结果List links= html.links().all()
boolean match()是否有匹配结果boolean result = html.links().match()

Html 除了 Selectable 这些常用的 API 外还有如下几个方法用得也比较多

方法说明
Document getDocument()获取 Document 对象
static Html create(String text)通过文本获取 Html 对象

从这些 API 中可以看出，那些抽取元素的方法返回的都是 Selectable 对象，也就是说抽取是支持链式调用的，

例如：入门案例中获取<a>标签中的链接的代码可改写为：

        List<String> href = html
                // css 选择类为 zh 的标签
                .css(".zh")
                // 获取其下所有的链接
                .links() // 使用这种方式获取链接，如果链接是相对地址的形式会自动进行拼接
                .all();

输出：

在这里插入图片描述

2. 四大组件

Downloader

前面就有提到过 Downloader 的作用就是负责从互联网上下载页面

在这里插入图片描述

Downloader 的输入是 Request 输出是 Pag，可见 Downloader.java 源码：

public interface Downloader {

    Page download(Request var1, Task var2);

    void setThread(int var1);
}

默认情况下 Spider 配置的 Downloader 为 HttpClientDownloader，可以从 initComponent() 方法中得出

在这里插入图片描述

在这里插入图片描述

查看 HttpClientDownloader.java 源码中的 download() 方法

public class HttpClientDownloader extends AbstractDownloader {

	...

	    public Page download(Request request, Task task) {
        if (task != null && task.getSite() != null) {
            CloseableHttpResponse httpResponse = null;
            // 获取 HttpClient 对象
            CloseableHttpClient httpClient = this.getHttpClient(task.getSite());
            Proxy proxy = this.proxyProvider != null ? this.proxyProvider.getProxy(request, task) : null;
            // 通过 Request 和 Site 得到 HttpUriRequest、HttpContext
            HttpClientRequestContext requestContext = this.httpUriRequestConverter.convert(request, task.getSite(), proxy);
            Page page = Page.fail(request);

            Page var9;
            try {
            	// 发起请求
                httpResponse = httpClient.execute(requestContext.getHttpUriRequest(), requestContext.getHttpClientContext());
                // 解析响应体并封装成 Page 返回
                page = this.handleResponse(request, request.getCharset() != null ? request.getCharset() : task.getSite().getCharset(), httpResponse, task);
                this.onSuccess(page, task);
                this.logger.info("downloading page success {}", request.getUrl());
                Page var8 = page;
                return var8;
            } catch (IOException var13) {
                this.onError(page, task, var13);
                this.logger.info("download page {} error", request.getUrl(), var13);
                var9 = page;
            } finally {
                if (httpResponse != null) {
                    EntityUtils.consumeQuietly(httpResponse.getEntity());
                }

                if (this.proxyProvider != null && proxy != null) {
                    this.proxyProvider.returnProxy(proxy, page, task);
                }

            }

            return var9;
        } else {
            throw new NullPointerException("task or site can not be null");
        }
    }
	
	...
}

如果希望下载页面时进行一些其它的操作，可以自定义 Downloader，要么实现 Downloader 接口，要么继承实现了 Downloader 接口的子类，比如：HttpClientDownloader

如果想要自定义的 Downloader 生效，就需要在 spider.setDownloader() 方法中进行设置，比如：

        Spider.create(new TestProcessorDemo())
                // 设置起始的 URL
                .addUrl("https://www.rgbku.com/chaxun.html")
                // 设置自定义 Downloader
                .setDownloader(new MyDownload())
                // 在当前线程中执行爬虫
                .run();
                // 在新线程中执行爬虫
                //.start();

PageProcessor

PageProcessor 的作用就是负责解析页面的

在这里插入图片描述

它的输入是 Page 对象，process() 方法中实现页面解析的逻辑，PageProcessor.java 源码如下：

public interface PageProcessor {

    void process(Page var1);

    default Site getSite() {
        return Site.me();
    }
}

而页面的解析是开发者根据需求去编写，也就是说要开发者去实现，webMaic 也没办法提供默认的 PageProcessor, 所以使用 webMaigc 编写爬虫的时候都需要去实现 PageProcessor 接口或者继承实现了 PageProcessor 接口的类，比如：SimplePageProcessor。而解析的结果最好是封装到 ResultItems 中交给 Pipeline 进行处理，Page 对象中可以通过 putField(String key, Object field) 方法直接将对象封装到 ResultItems 中

public class Page {

	...
	
    public void putField(String key, Object field) {
        this.resultItems.put(key, field);
    }
	
	...
}

Scheduler

Scheduler 负责管理待抓取的 URL

在这里插入图片描述

Scheduler.java 源码：

public interface Scheduler {
    void push(Request var1, Task var2);

    Request poll(Task var1);
}

Scheduler 默认是 QueueScheduler，可查看 Spider.java 的源码得出

在这里插入图片描述

而 QueueScheduler 的底层就如同它的类名一样，是个队列

在这里插入图片描述

之前说过 Downloader 下载页面时需要 Request 对象，而这些 Request 对象都是从 Scheduler 中拉取而来的，包括起始的 url 也是会先放到 Scheduler，可以从入门案例中的 spider.addUrl() 方法去追溯源码证实

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

也可以从进入入门案例 sipder.run() 方法中看到传入 Downloader 的 Request 是从 Scheduler 中获取的

在这里插入图片描述

在这里插入图片描述

同时 Scheduler 也可以自定义，只需要实现 Scheduler 接口或者继承其实现类，比如：QueueScheduler 即可，然后通过 spider.setScheduler() 方法去设置，例如：

        Spider.create(new TestProcessorDemo())
                // 设置起始的 URL
                .addUrl("https://www.rgbku.com/chaxun.html")
                // 设置自定义 Scheduler
                .setScheduler(new MyScheduler())
                // 在当前线程中执行爬虫
                .run();
                // 在新线程中执行爬虫
                //.start();

Pipeline

Pipeline 负责抽取结果的处理，包括计算、持久化到文件、数据库等

在这里插入图片描述

Pipeline.java 源码：

public interface Pipeline {
    void process(ResultItems var1, Task var2);
}

默认情况下，webMaigc 的使用的 Pipeline 是 ConsolePipeline，可查看 Spider.initComponent() 的方法源码得知：

在这里插入图片描述

ConsolePipeline 的处理就是将封存在 ResultItems 里的内容打印到控制台上

ConsolePipeline.java 源码：

public class ConsolePipeline implements Pipeline {
    public ConsolePipeline() {
    }

    public void process(ResultItems resultItems, Task task) {
        System.out.println("get page: " + resultItems.getRequest().getUrl());
        Iterator var3 = resultItems.getAll().entrySet().iterator();

        while(var3.hasNext()) {
            Entry<String, Object> entry = (Entry)var3.next();
            System.out.println((String)entry.getKey() + ":\t" + entry.getValue());
        }

    }
}

Spider 中可以配置多个 Pipeline

在这里插入图片描述

通常情况下开发者会自定义 Pipeline，将爬取的数据存放在数据库中，自定义的方式就是实现 Pipeline 接口重写 process() 方法，通过 spider.setPipelines() 来设置，例如：

        List<Pipeline> pipelines = new ArrayList<>();
        // 添加输出到控制台的 Pipeline：ConsolePipeline
        pipelines.add(new ConsolePipeline());
        // 添加保存到文本的 Pipeline：FilePipeline
        pipelines.add(new FilePipeline());
        // 添加自定义自定义 Pipeline
        pipelines.add(new MyPipeline());

        Spider.create(new TestProcessorDemo())
                // 设置起始的 URL
                .addUrl("https://www.rgbku.com/chaxun.html")
                // 设置 Pipeline
                .setPipelines(pipelines)
                // 在当前线程中执行爬虫
                .run();
                // 在新线程中执行爬虫
                //.start();

上篇：Java-网络爬虫(一)
下篇：Java-网络爬虫(三)

参考博客：

WebMagic：https://blog.csdn.net/weixin_40055163/article/details/123541437

JsonPath完全介绍及详细使用教程：https://blog.csdn.net/software_test010/article/details/125427926

多加点辣也没关系
关注
  • 14
    点赞
  • 踩
  • 25
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Java实现爬虫
weixin_72753070的博客
07-15 2万+
关于美国历来每次飞机失事的数据，包含时间地点、驾驶员、死亡人数、总人数、事件描述，一共有12列，第一列是标题，下面一共有5268条数据。多线程中如果想设置等待状态，有一个方法可以实现wait()，如果想从等待状态唤醒，则可以使用notify()。通过Pattern和Matcher的配合，我们可以把一段内容中匹配我们要求的文字提取出来，方便我们来处理。对爬取的HTML页面来说，如果想提取连接地址，就必须找到所有超连接的标签和对应的属性。需要先自定义一个线程的操作类，在这个操作类中判断不同的状态，并且根。...
WebMagic--Java爬虫框架学习.zip
03-08
如果您下载了本程序，但是该程序无法运行，或者您不会部署，那么您可以选择退款或者寻求我们的帮助（如果找我们帮助的话，是需要追加额外费用的） 爬虫（Web Crawler）是一种自动化程序，用于从互联网上收集信息。其主要功能是访问网页、提取数据并存储，以便后续分析或展示。爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的工作流程包括以下几个关键步骤： URL收集： 爬虫从一个或多个初始URL开始，递归或迭代地发现新的URL，构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。 请求网页： 爬虫使用HTTP或其他协议向目标URL发起请求，获取网页的HTML内容。这通常通过HTTP请求库实现，如Python中的Requests库。 解析内容： 爬虫对获取的HTML进行解析，提取有用的信息。常用的解析工具有正则表达式、XPath、Beautiful Soup等。这些工具帮助爬虫定位和提取目标数据，如文本、图片、链接等。 数据存储： 爬虫将提取的数据存储到数据库、文件或其他存储介质中，以备后续分析或展示。常用的存储形式包括关系型数据库、NoSQL数据库、JSON文件等。 遵守规则： 为避免对网站造成过大负担或触发反爬虫机制，爬虫需要遵守网站的robots.txt协议，限制访问频率和深度，并模拟人类访问行为，如设置User-Agent。 反爬虫应对： 由于爬虫的存在，一些网站采取了反爬虫措施，如验证码、IP封锁等。爬虫工程师需要设计相应的策略来应对这些挑战。 爬虫在各个领域都有广泛的应用，包括搜索引擎索引、数据挖掘、价格监测、新闻聚合等。然而，使用爬虫需要遵守法律和伦理规范，尊重网站的使用政策，并确保对被访问网站的服务器负责。
JAVA网络爬虫
07-22
Java网络爬虫目录------------01.爬虫的介绍------------02.HttpClient------------03.Jsoup解析------------------------04.爬虫案例------------05.WebMagic------------06.案例实现------------------------07.网页去重------------08.ES回顾 资源太大，传百度网盘了，链接在附件中，有需要的同学自取。
Java爬虫-获取数据的方式之一
最新发布
qq_33627452的博客
03-13 1500
jsoup 是一款 Java 的 HTML 解析器，可直接解析某个 URL 地址、HTML 文本内容。它提供了一套非常省力的 API，可通过 DOM，CSS 以及类似于 jQuery 的操作方法来取出和操作数据。Selenium是一系列基于Web的自动化工具，提供一套测试函数，用于支持Web自动化测试。函数非常灵活，能够完成界面元素定位、窗口跳转、结果比较。具有如下特点：多浏览器支持如IE、Firefox、Safari、Chrome、Android手机浏览器等。支持多语言。
源码-java网络爬虫源码
01-14
源码-java网络爬虫源码 源码-java网络爬虫源码 源码-java网络爬虫源码 源码-java网络爬虫源码 源码-java网络爬虫源码 源码-java网络爬虫源码 源码-java网络爬虫源码 源码-java网络爬虫源码 源码-java网络爬虫源码 源码-java网络爬虫源码 源码-java网络爬虫源码 源码-java网络爬虫源码 源码-java网络爬虫源码 源码-java网络爬虫源码 源码-java网络爬虫源码 源码-java网络爬虫源码 源码-java网络爬虫源码 源码-java网络爬虫源码 源码-java网络爬虫源码 源码-java网络爬虫源码 源码-java网络爬虫源码 源码-java网络爬虫源码 源码-java网络爬虫源码 源码-java网络爬虫源码 源码-java网络爬虫源码 源码-java网络爬虫源码 源码-java网络爬虫源码 源码-java网络爬虫源码 源码-java网络爬虫源码 源码-java网络爬虫源码 源码-java网络爬虫源码 源码-java网络爬虫源码 源码-java网络爬虫源码 源码-java网络爬虫源码 源码-java网络爬虫源码 源码-java网络爬
SpringBoot项目实战(3)-Java网络爬虫
孙霸天的专栏
07-09 5396
网络爬虫的基本概念 网络爬虫（Web Crawler），又称为网络蜘蛛（Web Spider）或 Web 信息采集器，是一种按照一定规则，自动抓取或下载网络信息的计算机程序或自动化脚本，是目前搜索引擎的重要组成部分。 狭义上理解：利用标准的 HTTP 协议，根据网络超链接（如https://www.baidu.com/ 和 Web 文档检索的方法（如深度优先）遍历万维网信息空间的软件程序。...
httpPost中文乱码解决方案（android）
hijunmeng的专栏
09-08 802
httpPost中文乱码解决方案  （android）: 在客户端post过去的数据在服务端拿到的却为乱码，解决办法就是在客户端加上红色这两句： HttpEntity requestHttpEntity = new UrlEncodedFormEntity(paramsNameValuePairs, HTTP.UTF_8); HttpPost htt
java网络爬虫抓取网页数据
04-12
利用HttpClient抓取网页中简单的数据，数据可存入数据库进行分析
Java爬虫的几种方式
qq_45506362的博客
07-19 7758
爬虫（Web crawler）是一种自动化程序，用于浏览互联网并收集网页数据。它可以按照预定的规则自动访问网页、提取数据，并将数据存储到本地或其他目标位置。爬虫通常用于搜索引擎、数据挖掘、信息收集、监测等应用。爬虫的基本工作原理是模拟人类在浏览器中访问网页的过程。它发送HTTP请求到目标网站，并获取返回的HTML或其他类型的响应。然后，爬虫解析HTML响应，提取出需要的信息，如链接、文本、图像等。这些信息可以进一步处理、存储或分析。
【Java】使用Java实现爬虫
热门推荐
Do_GH的博客
08-04 2万+
利用HtmlUtil和HttpClient实现爬取网页内容
【Java】爬虫，能不能再详细讲讲？万字长文送给你！
midnight_time的博客
07-16 3069
前言 本文仅用于学习知识探讨，绝无其它恶意。 前两篇基础文章链接： 《【Java】爬虫，看完还爬不下来打我电话 》 《【Java】爬虫，数据持久化到MongoDB》 本文打算再详细的讲讲一些流程细节，另外，最后有写到如何分析爬取下来的内容。 在开始正文之前，还要说清一件事：我是小白，能不能学会爬虫？ 答：学不会，别学了，放弃吧。赶紧拿起手机，打游戏吧。这么热的天，哪凉快哪去，千万别遭这个罪。 正文...
java-网络爬虫.zip
06-01
用java写的网络爬虫，新手可以学习学习。内置myeclipse工程，还有一个解说文本文件
java简单网络爬虫
02-15
通过java代码实现一个简单的网络爬虫效果，爬取智联招聘网站上的职位名，公司名，工作地点，工作薪资等。
简单又实用java爬虫超快入门
qq_44789643的博客
05-02 783
本次使用Jsoup解析网页，对网页中的标签进行一步一步解析查找，获取想要的信息，在使用实体类进行扩展，但没有实现将其以文件形式持久化保存，和没有页面进行绑定简化操作，还有很多后续的优化。
java爬虫详解及简单实例
weixin_44617651的博客
06-02 3058
java爬虫是一种自动化程序，可以模拟人类在互联网上的行为，从网站上抓取数据并进行处理。下面是Java爬虫的详细解释：
Java爬虫简单制作流程及代码实现
Ferao的博客
11-13 1024
为什么研究爬虫？ python已经火了很久了，它的功能强大，其中很擅长的一个就是写爬虫程序。作为一个Javaer，想要写一个爬虫难道要学习python吗？ 爬虫入门要考虑哪些？ Java爬虫需要考虑的问题有很多，对于入门级的来说主要有如下几个： 1.如何爬取页面数据？可以使用HttpClient或HtmlUnit 2.如何解析页面数据？可以使用Jsoup 3.如何反 反爬虫？可以伪装浏览器和使用代...
Java-网络爬虫(一)
xhmico的博客
01-02 1407
在大数据时代，信息采集是一项重要的工作，而互联网中的数据是海量的，如果单纯靠人力进行信息获取，不仅低效繁琐，而且搜集的成本也会提高，如何自动高效地获取互联网中的数据是一个重要的问题，而爬虫技术就是针对这些问题而生的。网络爬虫（Web crawler）又称为网络蜘蛛或网络机器人，是一种自动化程序，用于在互联网上浏览和抓取信息，是互联网时代一项普遍运用的网络信息搜集技术。该项技术最早应用于搜索引擎领域，是搜索引擎获取数据来源的支撑性技术之一。
Java基础:爬虫
Orange_sparkle的博客
02-28 1007
Pattern:表示正则表达式Matcher:文本匹配器，作用按照正则表达式的规则去读取字符串，从头开始读取。在大串中去找符合匹配规则的子串。通过Pattern p = Pattern.compile("正则表达式");获得通过Matcher m = p.matcher(str);获得 (m要在str中找符合p规则的小串)其中, m为Matcher对象, p为正则表达式规则, str为要验证的字符串.boolean b = m.find(); 表示拿着文本匹配器从头开始读取，寻找是否有满足规则的子串如果没
JAVA网络爬虫基础
qq_46439199的博客
12-13 1393
JAVA网络爬虫基础
利用java实现网络爬虫
10-15
网络爬虫是一种自动化程序，可以在互联网上自动抓取数据。Java中可以使用Jsoup库来实现网络爬虫。以下是一个简单的示例代码： ```java import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.select.Elements; import java.io.IOException; public class WebCrawler { public static void main(String[] args) { String url = "https://www.example.com"; try { Document doc = Jsoup.connect(url).get(); Elements links = doc.select("a[href]"); for (Element link : links) { System.out.println(link.attr("href")); } } catch (IOException e) { e.printStackTrace(); } } } ``` 这个示例代码会抓取指定网站的所有链接，并输出链接的URL。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值