Jsoup 解析Html源码实例

最新推荐文章于 2022-11-23 16:21:20 发布
最新推荐文章于 2022-11-23 16:21:20 发布
阅读量1w 收藏 11
点赞数 9
分类专栏： API Jsoup 文章标签： Jsoup 源码 解析 HTML
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xyw_blog/article/details/8927862
版权
Jsoup 同时被 2 个专栏收录
5 篇文章 0 订阅
订阅专栏
API
1 篇文章 0 订阅
订阅专栏

最近在做数据挖掘的过程中需要对html的源码进行解析，用到了Jsoup这个解析工具，下面写个基本实例来展现它的用法。

需要用到jar包：jsoup-1.7.2.jar，可以到jsoup的官网下载：http://jsoup.org/download

import java.io.File;
import java.io.IOException;
import java.sql.Timestamp;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;


public class Main {
	public static void main(String[] args) throws IOException {
		
		//解析url
		String threadUrl = "http://bbs.tianya.cn/list.jsp?item=travel&order=1&k=%E6%97%A0%E9%94%A1";
		Document doc = (Document) Jsoup.connect(threadUrl).get();
		System.out.println(doc);
		//解析html文档
		//File input = new File("D:\\text.txt");
		//Document doc = Jsoup.parse(input, "UTF-8");	
		
		for(Element ele : doc.getElementsByClass("tab-bbs-list").get(0).select("tbody > tr")){
			if(!ele.select("td").toString().equals("")){
				String url = ele.select("td").get(0).select("a").attr("href");
				String text = ele.select("td").get(0).select("a").text();
				String author = ele.select("td").get(1).select("a").text();
				Integer click = Integer.valueOf(ele.select("td").get(2).text());
				Integer reply = Integer.valueOf(ele.select("td").get(3).text());
				Timestamp date = Timestamp.valueOf(ele.select("td").get(4).attr("title") + ":00");
			}
		}		
	}
}
下面附上一部分要解析的源码内容： 

 <div class="mt5"> 
       <table width="100%" border="0" cellspacing="0" cellpadding="0" class="tab-bbs-list tab-bbs-list-2"> 
        <colgroup> 
         <col class="col-title" /> 
         <col class="" /> 
         <col class="" /> 
         <col class="" /> 
         <col class="col-date" /> 
        </colgroup> 
        <tbody> 
         <tr> 
          <th scope="col"> 标题</th> 
          <th scope="col">作者</th> 
          <th scope="col">点击</th> 
          <th scope="col">回复</th> 
          <th scope="col">发表时间</th> 
         </tr> 
        </tbody> 
        <tbody> 
         <tr class="bg"> 
          <td class="td-title "><span class="face" title=""></span><a href="/post-travel-489511-1.shtml" title="" target="_blank">求无锡周边带娃踏青的路线</a></td> 
          <td><a href="http://www.tianya.cn/n/utopia_rabbi" target="_blank" class="author">utopia_rabbi</a></td> 
          <td>4</td> 
          <td>1</td> 
          <td title="2013-05-14 17:02">05-14 17:02</td> 
         </tr> 
         <tr> 
          <td class="td-title "><span class="face" title=""></span><a href="/post-travel-484257-1.shtml" title="" target="_blank">五一黄金假期狮王争霸赛霸气降临——盘点无锡影视城特色景点</a></td> 
          <td><a href="http://www.tianya.cn/n/微笑小胖子" target="_blank" class="author">微笑小胖子</a></td> 
          <td>13</td> 
          <td>0</td> 
          <td title="2013-04-26 17:20">04-26 17:20</td> 
         </tr> 
         <tr class="bg"> 
          <td class="td-title "><span class="face" title=""></span><a href="/post-travel-483507-1.shtml" title="" target="_blank">无锡樱花温泉,梦回江南之境</a></td> 
          <td><a href="http://www.tianya.cn/n/hauhuacaocao" target="_blank" class="author">hauhuacaocao</a></td> 
          <td>36</td> 
          <td>0</td> 
          <td title="2013-04-24 16:14">04-24 16:14</td> 
         </tr> 
         <tr> 
          <td class="td-title "><span class="face" title=""></span><a href="/post-travel-482981-1.shtml" title="" target="_blank">灵山大佛【无锡灵山大佛旅游攻略】灵山大佛游记</a></td> 
          <td><a href="http://www.tianya.cn/n/微笑小胖子" target="_blank" class="author">微笑小胖子</a></td> 
          <td>38</td> 
          <td>1</td> 
          <td title="2013-04-22 19:03">04-22 19:03</td> 
         </tr> 
         <tr class="bg"> 
          <td class="td-title "><span class="face" title=""></span><a href="/post-travel-482796-1.shtml" title="" target="_blank">记江苏无锡的第一次骑行</a></td> 
          <td><a href="http://www.tianya.cn/n/我的儿子叫孙好帅" target="_blank" class="author">我的儿子叫孙好帅</a></td> 
          <td>73</td> 
          <td>1</td> 
          <td title="2013-04-22 09:31">04-22 09:31</td> 
         </tr> 
         <tr> 
          <td class="td-title "><span class="face" title=""></span><a href="/post-travel-481470-1.shtml" title="" target="_blank">4月25日从重庆到南京-扬州-镇江-无锡-苏州-上海,自助,急求驴...</a></td> 
          <td><a href="http://www.tianya.cn/n/伊叶飘" target="_blank" class="author">伊叶飘</a></td> 
          <td>33</td> 
          <td>0</td> 
          <td title="2013-04-16 13:07">04-16 13:07</td> 
         </tr> 
         <tr class="bg"> 
          <td class="td-title "><span class="face" title=""></span><a href="/post-travel-478290-1.shtml" title="" target="_blank">无锡自由行</a></td> 
          <td><a href="http://www.tianya.cn/n/龙在鑫" target="_blank" class="author">龙在鑫</a></td> 
          <td>443</td> 
          <td>10</td> 
          <td title="2013-03-30 23:14">03-30 23:14</td> 
         </tr> 
         <tr> 
          <td class="td-title "><span class="face" title=""></span><a href="/post-travel-475732-1.shtml" title="" target="_blank">无锡朋友-登山啦</a></td> 
          <td><a href="http://www.tianya.cn/n/championjun" target="_blank" class="author">championjun</a></td> 
          <td>16</td> 
          <td>0</td> 
          <td title="2013-03-18 16:48">03-18 16:48</td> 
         </tr>
下面分析上面的代码：

Jsoup可以通过打开指定url的方式或者直接打开html文档的方式，对源码进行解析。

打开url方式：

		String threadUrl = "http://bbs.tianya.cn/list.jsp?item=travel&order=1&k=%E6%97%A0%E9%94%A1";
		Document doc = (Document) Jsoup.connect(threadUrl).get();
打开html文档： 

		File input = new File("D:\\text.txt");
		Document doc = Jsoup.parse(input, "UTF-8");
我使用的是打开url： http://bbs.tianya.cn/list.jsp?item=travel&order=1&k=%E6%97%A0%E9%94%A1

这是天涯论坛的某一个版块的内容，我要做的就是要提取里面的有用信息。

for(Element ele : doc.getElementsByClass("tab-bbs-list").get(0).select("tbody > tr")){
			if(!ele.select("td").toString().equals("")){
				String url = ele.select("td").get(0).select("a").attr("href");
				String text = ele.select("td").get(0).select("a").text();
				String author = ele.select("td").get(1).select("a").text();
				Integer click = Integer.valueOf(ele.select("td").get(2).text());
				Integer reply = Integer.valueOf(ele.select("td").get(3).text());
				Timestamp date = Timestamp.valueOf(ele.select("td").get(4).attr("title") + ":00");
			}
		}
这个for循环做的是对有用信息的提取。首先，通过getElementsByClass("tab-bbs-list")，找到的是 

 <table width="100%" border="0" cellspacing="0" cellpadding="0" class="tab-bbs-list tab-bbs-list-2"> .......</tbody></table>
这个表格内存储着我们需要的全部信息，我们首先定位到这个表格的标签，通过class的名称tab-bbs-list找到它，后面的get(0)，指定了是第一个class="tab-bbs-list tab-bbs-list-2">，如果源码中还有第二个这样的table，我们要指定使用第二个table，则就要用get(1)。 

select("tbody > tr")
指的是查找tbody下所有tr标签（此处多谢yenshen指正），现在就将范围缩小到了所有tbody的tr标签了，即： 

<tr> 
          <th scope="col"> 标题</th> 
          <th scope="col">作者</th> 
          <th scope="col">点击</th> 
          <th scope="col">回复</th> 
          <th scope="col">发表时间</th> 
         </tr> 

 <tr class="bg"> 
          <td class="td-title "><span class="face" title=""></span><a href="/post-travel-489511-1.shtml" title="" target="_blank">求无锡周边带娃踏青的路线</a></td> 
          <td><a href="http://www.tianya.cn/n/utopia_rabbi" target="_blank" class="author">utopia_rabbi</a></td> 
          <td>4</td> 
          <td>1</td> 
          <td title="2013-05-14 17:02">05-14 17:02</td> 
         </tr> 
         <tr> 
          <td class="td-title "><span class="face" title=""></span><a href="/post-travel-484257-1.shtml" title="" target="_blank">五一黄金假期狮王争霸赛霸气降临——盘点无锡影视城特色景点</a></td> 
          <td><a href="http://www.tianya.cn/n/微笑小胖子" target="_blank" class="author">微笑小胖子</a></td> 
          <td>13</td> 
          <td>0</td> 
          <td title="2013-04-26 17:20">04-26 17:20</td> 
         </tr> 
....
我们就是在一步步的缩小范围。现在已经定位到<tr>.....</tr>范围。 
!ele.select("td").toString().equals("")
表示说如果没有td这种标签，像第一个<tr>...<tr>，它内部就没有<td>标签，所以我们要过滤掉，因为我们需要提取的信息在<td>标签内。

如果存在<td>标签，现在ele已经定位到了<tr>，以第二个<tr>为例：

 <tr class="bg"> 
          <td class="td-title "><span class="face" title=""></span><a href="/post-travel-489511-1.shtml" title="" target="_blank">求无锡周边带娃踏青的路线</a></td> 
          <td><a href="http://www.tianya.cn/n/utopia_rabbi" target="_blank" class="author">utopia_rabbi</a></td> 
          <td>4</td> 
          <td>1</td> 
          <td title="2013-05-14 17:02">05-14 17:02</td> 
         </tr> 


ele.select("td").get(0).select("a").attr("href");
ele.select("td")是检索出所有的<td>，后边的get(0)，指定了是定位到第一个<td>，即： 
<td class="td-title "><span class="face" title=""></span><a href="/post-travel-489511-1.shtml" title="" target="_blank">求无锡周边带娃踏青的路线</a></td>
然后select("a")是定位到这个<td>内部的<a>标签： 

<a href="/post-travel-489511-1.shtml" title="" target="_blank">求无锡周边带娃踏青的路线</a>
.attr("href")：这个方法是获取属性名称为href的属性，即："/post-travel-489511-1.shtml"

这样，我们就提取到了url。

text()：方法是获取标签的内容

String text = ele.select("td").get(0).select("a").text();
我们定位到了<a>...</a>，text()就是取得<a>...</a>之间的内容。

附：

Elements这个对象提供了一系列类似于DOM的方法来查找元素，抽取并处理其中的数据。具体如下：

查找元素
getElementById(String id) 
getElementsByTag(String tag) 
getElementsByClass(String className) 
getElementsByAttribute(String key) (and related methods) 
Element siblings: siblingElements(), firstElementSibling(), lastElementSibling(); nextElementSibling(), previousElementSibling() 
Graph: parent(), children(), child(int index)
元素数据
attr(String key)获取属性attr(String key, String value)设置属性 
attributes()获取所有属性 
id(), className() and classNames() 
text()获取文本内容text(String value) 设置文本内容 
html()获取元素内HTMLhtml(String value)设置元素内的HTML内容 
outerHtml()获取元素外HTML内容 
data()获取数据内容（例如：script和style标签) 
tag() and tagName()
操作HTML和文本
append(String html), prepend(String html) 
appendText(String text), prependText(String text) 
appendElement(String tagName), prependElement(String tagName) 
html(String value)
关于Jsoup的使用方法，具体可以参见Jsoup中文开发指南： Jsoup中文开发指南

本文为Eliot原创，转载请注明出处：http://blog.csdn.net/xyw_eliot/article/details/8927862

xyw_Eliot
关注
  • 9
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 19
    评论
专栏目录
手把手教学Android用jsoup解析html实例
08-30
接下来，我们将通过实例讲解如何使用jsoup解析HTML。假设我们要从一个美食网站抓取数据。以获取"美食天下"的标题为例，首先需要找到目标元素在HTML中的位置。通常，我们可以右键网页选择"查看源代码"或按F12打开...
Android使用Jsoup解析Html表格的方法
01-05
本文实例讲述了Android使用Jsoup解析Html表格的方法。分享给大家供大家参考，具体如下： 看代码吧，可解析表中的label text button 自己根据需要再添加，呵呵 import java.util.ArrayList; import java.util.List; ...
Jsoup，一款超好用的HTML文本解析Java工具
Dream it Possible
11-23 6289
jsoup是一款Java的HTML解析器，可以直接解析某个URL地址或HTML内容。它提供了一套非常简单好用的API，可通过DOM，CSS以及类似于jQuery的操作方法来读取和操作数据。
Jsoup
热门推荐
底层码农
03-30 1万+
Jsoup 入门
JAVA爬虫 使用jsoup爬取html网页数据get&post
weixin_43200946的博客
09-27 1033
JAVA爬虫 使用jsoup爬取html网页数据get&post 1.导入POM依赖 <dependency> <!-- jsoup --> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.13.1</version> </dependency> 在这之前我这边就以爬取jd的
jsoup使用 java解析html（爬网页数据）
u013060359的博客
09-02 542
百度百科的介绍 jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据 首先引入maven <dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.10.2&lt...
Android开发之利用jsoup解析HTML页面的方法
01-06
本文实例讲述了Android利用jsoup解析HTML页面的方法。分享给大家供大家参考，具体如下： 这节主要是讲解jsoup解析HTML页面。由于在android开发过程中，不可避免的涉及到web页面的抓取，解析，展示等等，所以，在这里...
基于Java的实例源码-HTML解析器 jsoup.zip
最新发布
06-27
在这个基于Java的实例源码中，我们关注的是`jsoup`库，它是一个强大的、易于使用的库，专门设计用于处理现实世界中的HTML。`jsoup`能够提取结构化数据，并提供了一系列API来简化DOM操作，类似于jQuery。 首先，让...
Jsoup 源码分析
chengtuo5899的博客
09-17 272
一、Jsoup 在类的设计上许多名字采用和 java 本身自带的 xml 解析器的类的名字一样，这样很容易让人误会，Jsoup 在设计过程中沿用了 xml 解析器，其实这种观念是错误的，jsoup 之所以这么出色，是因为，Jsoup使用了一套自己的DOM对象体系，和Java XML API互不...
jsoup操作实例源码
03-22
获得http://www.weather.com.cn/forecast/ 天气预报 通过jsoup工具实现,获得如上网站天气预实时显示
Jsoup解析html的示例
04-22
一个简单地android解析html的例子
jsoup解析html
12-25
利用jsoup工具解析html的demo
使用httpClient访问https+443端口号。
07-30
NULL 博文链接：https://from-null.iteye.com/blog/859795
jsoup包和源码
09-12
jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。 jsoup的主要功能如下： 1. 从一个URL，文件或字符串中解析HTML； 2. 使用DOM或CSS选择器来查找、取出数据； 3. 可操作HTML元素、属性、文本；
jsoup源码分析
weixin_40206723的博客
05-27 648
jsoup是什么？ jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。 jsoup中的一些实体 因为jsoup是基于HTML的，而HTML是层级标签结构的（即树形结构），所以jsoup在整个主结构上采用的数据结构为树。符合标签的嵌套模式，对于各个节点（可理解为...
jsoup 源码阅读
duanhengbin的专栏
11-27 321
最近做网页分析时接触了一些 包括jsoup在内开源工具。 今天有时间读了下jsoup的源码，记录一下心得。   【特色】 作为html 解析工具，jsoup 出现的时间远不如大名鼎鼎的HttpClient。但是他有一些不错的特色：   1.实现了CSS选择器语法，有了这个页面内容提取真不是一般的方便。 2.解析算法不使用递归，而是enum配合状态模式遍历数据（先预设所有语法组合...
Jsoup解析HTML实例及文档方法详解
黄泉颤抖
03-11 325
这篇文章主要介绍了Jsoup如何解析一个HTML文档、从文件加载文档、从URL加载Document等方法，对Jsoup常用方法做了详细讲解，最近提供了一个示例供大家参考 使用DOM方法来遍历一个文档 从元素抽取属性，文本和HTML 获取所有链接 解析和遍历一个HTML文档 如何解析一个HTML文档： 复制代码代码如下: String html = "...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 19
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值