Jsoup实战(正方教务系统爬取)

最新推荐文章于 2023-12-31 14:37:14 发布

「已注销」

最新推荐文章于 2023-12-31 14:37:14 发布

阅读量1.2k

点赞数

文章标签： java python html dom css

本文链接：https://blog.csdn.net/m0_38032942/article/details/111158990

版权

本文介绍了使用Java的Jsoup库进行网页解析，以正方教务系统为例，讲解如何抓取和处理HTML内容。通过HttpClient获取网页后，Jsoup通过DOM和CSS选择器提取所需数据，提供了高效且方便的API。文章还分享了Jsoup的主要功能和实战技巧，包括元素遍历、选择器组合使用等。

摘要由CSDN通过智能技术生成

其实很人都以为Python才可以做爬虫，其实C++与Java照样也是可以的，因为爬虫的原理很简单，无非就是分析HTTP(s)请求，然后通过代码模拟浏览器去发起请求，对于发起网络请求框架的我选择的是Apache的OKHttp，毕竟自己手动拼接HTTP请求体还是工作量比较大的一个事情。拿到网页后就需要解析网页关键内容，此时Jsoup就发挥作用了，通过节点选择器 + 表达式可以很方便的拿到想要的数据，在我的开源项目中可以看到这个爬取过程的核心实现，https://gitee.com/zouchanglin/spider_xpu

HttpClient

<dependency>
    <groupId>org.apache.httpcomponents</groupId>
    <artifactId>httpclient</artifactId>
    <version>4.5.2</version>
</dependency>

Jsoup

我们抓取到页面之后，还需要对页而进行解析。可以使用字符串处理工具解析页面，也可以使用正则表达式，但是这些方法都会带来很大的开发成本，所以我们需要使用一款专门解析HTML页面的技术。

jsoup介绍

Jsoup是一款Java的HTML解析器，可直接解析某个URL地址、HTML文木内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

Jsoup的主要功能

1.从一个URL，文件或字符串中解析HTML;

2.使用DOM或CSS选择器来查找、取出数据;

3.可操作HTML元素、属性、文本;

Jsoup实战

<dependencies>
    <dependency>
        <groupId>org.apache.httpcomponents</groupId>
        <artifactId>httpclient</artifactId>
        <version>4.5.2</version>
    </dependency>
    <dependency>
        <groupId>org.slf4j</groupId>
        <artifactId>slf4j-log4j12</artifactId>
        <version>1.7.25</version>
    </dependency>
    <dependency>
        <groupId>org.jsoup</groupId>
        <artifactId>jsoup</artifactId>
        <version>1.11.3</version>
    </dependency>

    <dependency>
        <groupId>commons-io</groupId>
        <artifactId>commons-io</artifactId>
        <version>2.6</version>
    </dependency>

    <dependency>
        <groupId>org.apache.commons</groupId>
        <artifactId>commons-lang3</artifactId>
        <version>3.7</version>
    </dependency>

    <dependency>
        <groupId>junit</groupId>
        <artifactId>junit</artifactId>
        <version>4.12</version>
        <scope>test</scope>
    </dependency>
</dependencies>