解析html数据

最新推荐文章于 2024-04-04 21:30:19 发布
最新推荐文章于 2024-04-04 21:30:19 发布
阅读量530 收藏
点赞数
分类专栏： 数据解析 文章标签： jsoup解析HTML
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/KkaiPengZhao/article/details/78398131
版权

解析HTML数据，有两种工具（jsoup 和 htmlparser），在此只讲解jsoup的使用。jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。使用时，要导入jsoup-1.10.3.jar。


1. 写入HTML，相信大家都会，在此不用讲解。



2. 修改HTML

E:/MyEclipse/html/message.html 修改前：

<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01//EN" "http://www.w3.org/TR/html4/strict.dtd">
<html xmlns="http://www.w3.org/1999/xhtml" lang="en">

	<head>
		<meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
		<title>HTML Demo</title>
	</head>

	<body>
		<form action="表单验证.html" method="post" id="f">
			<input class="i" type="text" name="name" value="赵凯鹏">
			<input class="i" type="password" name="pass" value="123456">
			<input class="i" type="submit" value="登录">
		</form>
		<div>
			<img src="https://www.baidu.com/img/bd_logo1.png" width="100px" height="50px">
			<a href="https://www.baidu.com/" target="_blank">百度</a>
		</div>
		<table border="2" width="400px" cellpadding="10" cellspacing="0" bgcolor="aqua">
			<tbody>
				<tr>
					<td colspan="3" align="center">星期一菜谱</td>
				</tr>
				<tr>
					<td rowspan="2" align="center">荤菜</td>
					<td id="y" align="center">鱼香肉丝</td>
					<td id="c" align="center">油焖大虾</td>
				</tr>
				<tr>
					<td align="center">海参鲍鱼</td>
					<td align="center">龙肝凤胆</td>
				</tr>
			</tbody>
		</table>
	</body>

</html>

 
package htmlTest;

import java.io.File;
import java.io.FileOutputStream;
import java.io.FileWriter;
import java.io.IOException;
import java.io.OutputStreamWriter;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;

public class HtmlModify {

	public static void main(String[] args) {
		
		Document doc = null;
		
// 从字符串加载Document ------------------------------------------------------------
//		String html = "<form action='表单验证.html' method='post'><input type='text' name='name' value='赵凯鹏' /><input type='password' name='pass' value='123456' /><input type='submit' value='登录' /><font>font</font></form>";
//		doc = Jsoup.parse(html);
//		Element form = doc.select("form").get(0);

		/* 1.设置属性  */
		//修改action
//		form.attr("action", "666888");   
//		System.out.println(form);
		
		//添加class
//		form.addClass("f");
//		System.out.println(form);
		
		//移除class
//		form.removeClass("f");
//		System.out.println(form);
		
		//移除method
//		form.removeAttr("method");
//		System.out.println(form);
		
		//使用连写方式, 同时修改多处
//		form.addClass("form666").attr("method", "get").removeAttr("action");
//		System.out.println(form);
		
		
		/* 2.设置元素的HTML内容 */
		
		// 2.1 html(String html): 先清除元素中的HTML内容，然后用传入的HTML代替。
//		form.html("<a href='https://www.hao123.com'></a>");
//		System.out.println(form); 
		 
		// 2.2 prepend(String first) 和  append(String last) 方法用于在分别在元素内部HTML的前面和后面添加HTML内容
//		form.prepend("<a href='https://www.hao123.com'></a>");
//		form.append("<a href='https://www.baidu.com'></a>");
//		System.out.println(form); 
		
		// 2.3 wrap(String around) 对元素包裹一个外部HTML内容。
//		Element font = form.select("font").get(0);
//		font.wrap("<a herf='www.haobuhao'></a>");
//		System.out.println(form);
		
		
		/* 3.设置元素的文本内容 */
		// text(String text) 先清除元素内部HTML内容，再进行代替
//		Element font = form.select("font").get(0);
//		font.text("font link");
//		System.out.println(font);
		
		// prepend(String first) 和 append(String last) 将分别在元素的内部html前、后添加文本节点
//		font.prepend("前面添加文本");
//		font.append("后面添加文本");
//		System.out.println(form);
		
		
		/* 4.设置元素 */
//		Element font = form.select("font").get(0);
//		font.prependElement("p");
//		font.appendElement("a");
//		System.out.println(form);
	
		
// 从文件加载Document ------------------------------------------------------------	
		//读文件
		File file = new File("E:/MyEclipse/html/message.html");
		try {
			doc = Jsoup.parse(file, "UTF-8", "http://example.com/"); //parse(File in, String charsetName)
		} catch (IOException e) {
			e.printStackTrace();
		} 
		
		//修改数据
		doc.select("[value=赵凯鹏]").get(0).attr("value", "小赵");
		doc.select("[type=submit]").get(0).attr("value", "注册");
		System.out.println(doc);
		
		//保存修改到原文件【注意: 封装的流不能设置编码】
		FileOutputStream fos = null;
		OutputStreamWriter ow = null;
		try {
			fos = new FileOutputStream(file, false);
			ow = new OutputStreamWriter(fos , "utf-8");
			ow.write(doc.toString());
			ow.flush();
		} catch (IOException e) {
			e.printStackTrace();
		} finally {
			try {
				ow.close();
			} catch (IOException e) {
				e.printStackTrace();
			}
		}
		
		System.out.println("write success");
		
	}
}

E:/MyEclipse/html/message.html 修改后： 

<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01//EN" "http://www.w3.org/TR/html4/strict.dtd">
<html xmlns="http://www.w3.org/1999/xhtml" lang="en">
 <head> 
  <meta http-equiv="Content-Type" content="text/html; charset=UTF-8"> 
  <title>HTML Demo</title> 
 </head> 
 <body> 
  <form action="表单验证.html" method="post" id="f"> 
   <input class="i" type="text" name="name" value="小赵"> 
   <input class="i" type="password" name="pass" value="123456"> 
   <input class="i" type="submit" value="注册"> 
  </form> 
  <div> 
   <img src="https://www.baidu.com/img/bd_logo1.png" width="100px" height="50px"> 
   <a href="https://www.baidu.com/" target="_blank">百度</a> 
  </div> 
  <table border="2" width="400px" cellpadding="10" cellspacing="0" bgcolor="aqua"> 
   <tbody> 
    <tr> 
     <td colspan="3" align="center">星期一菜谱</td> 
    </tr> 
    <tr> 
     <td rowspan="2" align="center">荤菜</td> 
     <td id="y" align="center">鱼香肉丝</td> 
     <td id="c" align="center">油焖大虾</td> 
    </tr> 
    <tr> 
     <td align="center">海参鲍鱼</td> 
     <td align="center">龙肝凤胆</td> 
    </tr> 
   </tbody> 
  </table>  
 </body>
</html>



3. 读取HTML 

package htmlTest;

import java.io.File;
import java.io.IOException;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Attributes;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class HtmlRead {

	public static void main(String[] args) {
		
		Document doc = null;
		
		/* 从字符串加载Document */
//		String html = "<html><head><title>HTML Demo</title></head><body><p>中华人民共和国</p></body></html>";
//		doc = Jsoup.parse(html);

		
		/* 从URL加载Document */
//		try {
//			doc = Jsoup.connect("https://www.hao123.com").get();
//		} catch (IOException e) {
//			e.printStackTrace();
//		}
		
		
		/* 从文件加载Document */
		File input = new File("E:/MyEclipse/html/message.html");
		try {
			doc = Jsoup.parse(input, "UTF-8", "http://example.com/"); //parse(File in, String charsetName)
		} catch (IOException e) {
			e.printStackTrace();
		} 
		
		// 1.DOM方式遍历
//		System.out.println(doc.toString());
//		System.out.println("---------------------------");
//		System.out.println(doc.title());
//		System.out.println(doc.baseUri()); //文档绝对路径
//		
//		Element form = doc.getElementById("f");
//		Attributes attrList = form.attributes();
//		System.out.println(form.id());
//		System.out.println(form.tagName()+"  "+attrList.html());
//
//		Elements eleList = doc.getElementsByTag("input");
//		for(int i=0; i<eleList.size(); i++){
//			Element element = eleList.get(i);
//			System.out.println("type="+element.attr("type")); 
//			System.out.println("name="+element.attr("name"));
//			System.out.println("value="+element.attr("value"));
//		}

//-------------------------------------------------------------------------------------------		
		
		// 2.选择器方式遍历【jQuery选择器参考：W3CSchool jQuery 参考手册 - 选择器  && jQuery PPT】
		//基本选择器
//		System.out.println(doc.select("#f").get(0).tagName());  //#id
//		System.out.println(doc.select(".i").get(1).toString());     //.class
//		System.out.println(doc.select("a").get(0).toString());     //标签名
		
		//属性选择器
//		System.out.println(doc.select("[href]").get(0).toString());        	//含有属性herf的元素	
//		System.out.println(doc.select("[type=submit]").get(0).toString());	//属性type=submit的元素
//		System.out.println(doc.select("[colspan!=2]").get(0).toString());  	//属性colspan!=2的元素
//		
//		System.out.println(doc.select("[^al]").get(0).toString());        	  //属性是以al开头的元素
//		System.out.println(doc.select("[type^=s]").get(0).toString());          //属性type是以s开头的元素
//		System.out.println(doc.select("[value$=鹏]").get(0).toString());       //属性value是以鹏结束的元素
//		System.out.println(doc.select("[value*=4]").get(0).toString());         //属性value包含4的元素	
//		System.out.println(doc.select("[class][type=submit]").get(0).toString());//同时满足多个属性的元素

		//组合选择器
//		System.out.println(doc.select("form#f").get(0).toString());            //el#id
//		System.out.println(doc.select("input.i").get(0).toString());             //el.class
//		System.out.println(doc.select("td[rowspan]").get(0).toString());    //el[attr]
//		System.out.println(doc.select("input[name].i").get(0).toString());  //el[attr].class
//		
//		System.out.println(doc.select("tr td").get(1).toString());                   //选择器1 选择器2 ==> 后代元素
//		System.out.println(doc.select("div > [src]").get(0).toString());          //选择器1 > 选择器2 ==> 子代元素
//		System.out.println(doc.select("[rowspan] + #y").get(0).toString());  //选择器1 + 选择器2 ==> 1元素之后紧挨的同级元素2
//		System.out.println(doc.select("[rowspan] ~ #y").get(0).toString());  //选择器1 ~ 选择器2 ==> 1元素之后所有同级元素2
//		System.out.println(doc.select("[rowspan],#y,#c").get(2).toString()); //选择器1 , 选择器2 , 选择器3 ==> 匹配1元素 、元素2、元素3中的任一个
		
		//伪类选择器
		/*
		first()或:first	获取第一个元素						单个元素
		last()或:last	获取最后一个元素						单个元素
		:not(selector)	获取除过给定选择器之外的元素				元素集合，如：$("li:not(.title)")获取class不是title的li元素
		:even	        获取索引值为偶数的元素，索引号从0开始		元素集合
		:odd	                获取索引值为奇数的元素，索引号从0开始		元素集合
		:eq(index)	获取索引值等于index的元素，索引号从0开始	单个元素，如：$("li:eq(1)")获取索引等于1的<li>元素
		:gt(index)		获取索引值大于index的元素，索引号从0开始	元素集合，如：$("li:gt(1)")获取索引大于1的<li>元素
		:lt(index)		获取索引值小于index的元素，索引号从0开始	元素集合，如：$("li:lt(1)")获取索引小于1的<li>元素
		:header    	获取所有标题元素，如h1~h6				元素集合
		:animated	获取正在执行动画效果的元素				元素集合
		:contains(text)	获取含有文本内容为text的元素				元素集合
		:empty	        获取不包含后代元素或文本的元素			元素集合
		:has(selector)	获取含有后代元素为selector的元素			元素集合
		:parent	                    获取含有后代元素或文本的元素		元素集合
		*/
	
		/* 处理URLs : 你有一个包含相对URLs路径的HTML文档，需要将这些相对路径转换成绝对路径的URLs */
		try {
			doc = Jsoup.connect("https://www.hao123.com").get(); //从URL获得HTML Document
		} catch (IOException e) {
			e.printStackTrace();
		}
		Element link = doc.select("a").first();
		String relHref = link.attr("href");       
		String absHref = link.attr("abs:href"); //Node.attr("abs:href") == Node.absUrl("href")
		System.out.println(relHref);
		System.out.println(absHref);
	}

}



参考： 学习jsoup

KaiPengZhao
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python解析html网页，掌握这4种方法就够了
xyh2004的博客
06-08 1599
在探索Python解析HTML网页的多样化途径中，本文综述了四大主流库的运用：BeautifulSoup以其直观的API和易用性成为初学者优选；lxml凭借C语言库的绑定 ，在速度和功能完整性上占据优势，特别适合XML和XPath重度用户；PyQuery则以类似jQuery的语法吸引了熟悉前端开发者的青睐；而requests-HTML库 ，通过异步渲染和自动处理JavaScript，高效应对动态网页抓取。每种方法各有千秋，选择最佳工具需依据具体需求：静态内容提取倾向BS或PyQuery
解析html几种方式,Python解析html的几种操作方式
weixin_29619665的博客
06-30 1885
解析html是爬虫后的重要的一个处理数据的环节。一下记录解析html的几种方式。先介绍基础的辅助函数，主要用于获取html并输入解析后的结束#把传递解析函数，便于下面的修改def get_html(url, paraser=bs4_paraser):headers = {'Accept': '*/*','Accept-Encoding': 'gzip, deflate, sdch','Accept...
读取html文件并进行数据处理
weixin_50646402的博客
05-23 415
实际工作中，我们常遇到提取信息在本地html文件的情况，本文介绍如何读取html文件并进行预处理提取文件中的信息。
4.2.常用的HTML解析方法
sty3318的博客
02-20 1707
lxml速度较快，支持XML和HTML的解析和处理，同时也支持XPath查询，适合处理大型文档或复杂的解析任务。总的来说，Beautiful Soup 提供了一个简单而强大的工具，用于解析和提取 HTML 或 XML 文档中的数据。Beautiful Soup 将 HTML 或 XML 文档解析为一个对象化的文档树结构，使用户可以方便地遍历和操作文档中的元素、标签和内容。Beautiful Soup提供了简洁明了的API，可以通过标签名、属性、CSS选择器等方式来定位和提取HTML中的元素和内容。
HTML详解
weixin_40055163的博客
10-08 1万+
HTML 概念：HTML（Hypertext Markup Language ) 超文本标记语言。 HTML 不是一种编程语言，而是一种标记语言。 Html主要用来描述网页中所需要的组件，例如：文本框、表格、图片、视频等等，也对网页进行排版。 HTML的源文件，称为“网页”，通常以.html或者.htm为结尾。 可以使用任意文本编辑器编辑，需要使用浏览器执行。 访问：https://www.w3school.com.cn/ 1 标记（标签）基本语法 1.定义标签 HTML语言以标签形式体现，这些标签通常
Python解析HTML的实用技巧和秘籍
最新发布
GitHub_miao的博客
04-04 498
更多Python学习内容：ipengtao.comHTML是网页的基本构建语言，而Python提供了强大的工具和库来解析HTML内容，从而实现网页数据的提取和分析。本文将详细介绍如何使用Python解析HTML，包括安装、特性、基本功能、高级功能、实际应用场景和总结，帮助掌握HTML解析的技巧和应用。安装Python中常用的HTML解析库有Beautiful Soup和lxml等，可以通过pip工...
golang解析html网页的方法
09-18
在Golang中解析HTML网页，通常我们会使用标准库`net/http`来处理HTTP请求和响应，以及`html/template`包来解析和执行HTML模板。以下将详细介绍如何使用这两个包来实现一个简单的网页服务，包括展示静态资源（如图片...
HtmlAgilityPack（解析HTML动态链接库）
06-06
**HtmlAgilityPack** 是一个在.NET框架下用于解析HTML文档的强大工具，它允许开发者以类似于处理XML文档的方式来处理HTML内容。这个动态链接库（DLL）解决了HTML文档非规范化、不规则性的挑战，使得程序员可以方便地...
HTML.zip_html 解析
09-19
7. **性能优化**：在处理大量HTML数据时，解析速度和内存使用是关键因素。解析器可能采用增量解析、流式解析等方式，以减少资源消耗。 总的来说，"HTML.zip_html 解析"涉及到的技术和概念包括HTML结构、DOM解析、...
Python网络数据采集之HTML解析
01-27
假如我们确定一个我们需要采集的目标信息，可能是一组统计数据、或者一个 title等，但是此时这个目标可能藏的比较深，可能在第20层的标签里面，你可能会用下面的方式去抓取： 同时还有一个问题，加入网站发生细微的...
利用jsoup解析html
12-22
　（1）从一个 URL，文件或字符串中解析HTML； 　（2）使用DOM或CSS选择器来查找、取出数据； 　（3）可操作HTML元素、属性、文本； 　2、maven配置 　<!– jsoup –> 　 　<groupId>org.jsoup 　...
解析带有html标签的json数据
03-17
解析带有html标签的json数据
解析HTML数据
10-08
使用jsoup解析HTML文档获取网页数据，主要以榕树下作为例子爬取数据和解析，有需要的朋友可下载参看。
html页面解析数据,解析html网页的数据
weixin_30957757的博客
06-03 560
软件简介用于解析html网页数据。作者说：ZHParseHtmlData这个类是我自己写的，解析html的。发现之前用过的TFHpple还有许多都有问题，有的GB2312或者其他编码会乱码或者是不规范的Xml或者不规范的html都解析不出来。现在用我这个类让浏览器对之前页面优化再解析就可以了，只要解析的类是GDataXMLNode，谷歌的东西。也可以用JS解析，但是那样太麻烦，为何不拿着谷歌现有的...
HTML解析以及编码总结
weixin_52397172的博客
07-29 2198
字符编码
谈如何解析Html并抓取数据
热门推荐
lee576的专栏
03-28 1万+
最近加入了一家新公司，他们是一家电商，业务是网上虚拟充值，我进去是做OA里面的财务，本来想到的是做一做信息管理的，没想到还涉及到去别的网站采集数据（解析Html，最终用采集到的数据生成财务凭证）这一环，这个是我从来接触过的领域，大致看了一下，目的也就是解析网页的HTML从中找出需要的数据。那么问题来了，该怎样找到这些信息？ 由于实质就是在一堆文本里面“挖出”你要的东西，比如网页里面的Title
Jsoup—解析HTML页面数据的工具
程序病毒小队的博客
01-14 3027
介绍：GitHub源码 点击查看代码jar包 点击下载Jsoup是一款比较好的Java版HTML解析器。可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。jSOUP主要功能从一个URL，文件或字符串中解析HTML； 使用DOM或CSS选择器来查找、取出数据； 可操作HTML元素、属性、文本；依赖
通过html解析网页数据
Bruce的博客
07-28 4741
最近遇到一个工作需要从新浪财经网页拉取某支股票的当天成交明细，于是乎发现了一个好用的第三方包，在这里跟大家分享一下。 这个包叫Jsoup包，jsoup是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。 jar包（点击下载） 中文api文档（点击查看） 接下就来通过我这个项目来说明一下如何解析html 1.分析相应的html代码。 我要拉取的网页是ht
解析HTML页面获取数据
amy200275的博客
09-06 955
1。先根据url地址取得html源代码，设置超时时间以防请求服务器没反应。 2.解析table表格中的数据，根据关键字截取table表格的源代码字符串。 此过程中遇到过一个错误：无法获取“WebBrowser”控件的窗口句柄。不支持无窗口的 ActiveX 控件 如果有80个页面需要解析则每次new一个WebBrowser就会出现此错误， public sta...
Java与正则：实战解析HTML数据采集与group方法应用
在进行网页数据采集时，该程序通常会利用Java的HtmlParser或者其他第三方库，如Jsoup或BeautifulSoup等，来解析HTML文档。然而，尽管Java本身提供了内置的HTML解析工具，但在中文资料中，关于如何利用Java和正则...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值