java解析html代码，采集网页信息

不柔情

于 2024-06-04 11:26:05 发布

阅读量1.7k

点赞数 67

文章标签： java 爬虫 html

本文链接：https://blog.csdn.net/weixin_43149534/article/details/139359548

版权

通常情况下，多采用python进行爬虫编写，但是如果在java项目中也有类似需求应该如何操作呢？

本文讲简单介绍一种解析html代码，采集网页信息的思路。

本文根据以某网站为例，简单讲述一下采集的流程以及需要用到的知识点。

<groupId>org.jsoup</groupId>

<artifactId>jsoup</artifactId>

</dependency>

Jsoup库简介

Jsoup是一个用于处理HTML的Java库，可以用来解析、操作和生成HTML文档。它提供了非常方便的API来解析HTML文档，提取数据，修改内容，以及生成新的HTML文档。

Document对象

Document是Jsoup中的一个核心类，它代表了整个HTML文档。

一旦你有了一个Document对象，你可以使用各种方法来选择元素、获取属性、改变内容等。例如，你可以使用doc.select("a")来选取文档中所有的<a>标签，或者使用doc.body()来获取文档的<body>部分。

解析HTML文档

Jsoup.parse()方法用于解析HTML内容并将其转换为一个可操作的Document对象。这个方法可以接受多种类型的参数：字符串（HTML内容）、文件路径、URL等。

选择某网站，首先应该分析网站的结构，并根据自己的需求希望获取到的数据信息。

按下F12，点解左上角选择按钮，选择到想要截取的部分，点击右侧html代码部分右键，复制选择器。

对于每个公告选择出来的选择器，我们通过观察可以看出：

body > div.mainBox.clearfix > div.container.listBox > div.pageList.newsList.news-list-yw > ul > li:nth-child(1)

body > div.mainBox.clearfix > div.container.listBox > div.pageList.newsList.news-list-yw > ul > li:nth-child(2)

body > div.mainBox.clearfix > div.container.listBox > div.pageList.newsList.news-list-yw > ul > li:nth-child(3)

body > div.mainBox.clearfix > div.container.listBox > div.pageList.newsList.news-list-yw > ul > li:nth-child(4)

我们可以通过body > div.mainBox.clearfix > div.container.listBox > div.pageList.newsList.news-list-yw > ul > li 选择器来依次遍历选择到每一个公告的html代码。

如果我们选择器选择的是：body > div.mainBox.clearfix > div.container.listBox > div.pageList.newsList.news-list-yw > ul > li:nth-child(1)，则会选择到第一个公告。

如上图多段相似结构html代码：<Li>…</Li>,在页面为多个公告。

同样我们可以通过选择到具体信息的选择器来提取更为精细的内容。例如时间、日期、公告名称等等，都可以用相同的方式去复制选择器，通过doc.select("a")来选取文档中所有的<a>标签，最终实现信息抓取的效果。

关注