java文章采集爬虫代码示例

前言

    由于爬虫性质的特殊性，本文将部分爬取文章的网站例子，用###代替，希望大家能学习java爬取代码技巧！！！

pom文件引入所需要的依赖

        <!--jsoup-->
        <dependency>
            <groupId>org.jsoup</groupId>
            <artifactId>jsoup</artifactId>
            <version>1.13.1</version>
        </dependency>

     jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

核心实现代码

import org.jsoup.Jsoup;
import org.jsoup.nodes.Doc