java解析html之HTMLparser初次尝试

最新推荐文章于 2024-12-17 16:05:19 发布

fancy3013

最新推荐文章于 2024-12-17 16:05:19 发布

阅读量8.8k

点赞数 1

分类专栏：爬虫文章标签： java html 爬虫 maven htmlparser

本文链接：https://blog.csdn.net/fancy3013/article/details/50965112

版权

这篇博客介绍了如何使用Java的HtmlParser库来解析HTML并建立Maven工程。通过添加相关依赖，创建解析器抓取网页，将网页内容解析成DOM树。作者展示了如何利用节点过滤器筛选目标节点，例如在v2ex网站上抓取帖子的主题和回复。博客提供了部分代码示例，但完整的解析和主方法需要读者自行完成。

摘要由CSDN通过智能技术生成

为了爬取一个网页的数据，尝试了一下Htmlparser来做小爬虫。

下面是一个小案例，用来爬取论坛的帖子内容。

1. HtmlParser 简介

htmlparser是一个纯的java写的html解析的库，主要用于改造或提取html。用来分析抓取到的网页信息是个不错的选择，遗憾的是参考文档太少。
项目主页： http://htmlparser.sourceforge.net/
API文档： http://htmlparser.sourceforge.net/javadoc/index.html

2. 建立Maven工程

添加相关依赖

pom.xml

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
	<modelVersion>4.0.0</modelVersion>
	<groupId>com.fancy</groupId>
	<artifactId>htmlParser</artifactId>
	<version>0.0.1-SNAPSHOT</version>

	<dependencies>
		<dependency>
			<groupId>org.htmlparser</groupId>
			<artifactId>htmlparser</artifactId>
			<version>2.1</version>
		</dependency>
		<dependency>
			<groupId>junit</groupId>
			<artifactId>junit</artifactId>
			<version>4.12</version>
			<scope>test</scope>
		</dependency>
	</dependencies>
</project>