jsoup

最新推荐文章于 2023-04-30 17:40:02 发布
最新推荐文章于 2023-04-30 17:40:02 发布
阅读量198 收藏
点赞数
分类专栏： # 爬虫
转载请注明出处：作者WKP9418 :https://blog.csdn.net/qq_43179428
本文链接：https://blog.csdn.net/qq_43179428/article/details/107164535
版权

jsoup

解析url

package Jsoup;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import org.junit.Test;
import java.io.IOException;
import java.net.MalformedURLException;
import java.net.URL;
public class JsoupTest {
    @Test
    public void testUrl() throws IOException {
        Document doc = Jsoup.parse(new URL("http://www.baidu.com"), 3000);
        Elements title1 = doc.getElementsByTag("link");
        for (Element e:title1
             ) {
            System.out.println(e);
        }
    }
}
//输出
<link rel="dns-prefetch" href="//dss1.bdstatic.com">
<link rel="dns-prefetch" href="//ss1.bdstatic.com">
<link rel="dns-prefetch" href="//sp0.baidu.com">
<link rel="dns-prefetch" href="//sp1.baidu.com">
<link rel="dns-prefetch" href="//sp2.baidu.com">

解析字符串

    @Test
    public void testString() throws Exception{
        //获取字符串.由html组成的txt文本。
        String s = FileUtils.readFileToString(new File("C:\\Users\\DELL\\Desktop\\demo.txt"), "utf-8");
        //解析字符串
        Document doc = Jsoup.parse(s);
        Elements title = doc.getElementsByTag("title");
        System.out.println(title);

    }
}
//输出
<title>百度一下，你就知道</title>

解析文件

   @Test
    public void testFile() throws Exception{
        Document document = Jsoup.parse(new File("C:\\Users\\DELL\\Desktop\\demo.txt"), "utf8");
        Elements title = document.getElementsByTag("title");
        System.out.println(title);
    }

使用DOM方式遍历文档

获取Element 最常用的四种方式

  1. 根据id getElementById

  2. 根据tag getElementsByTag

    如<h1>,<title>,<li>，开头的标签类型。

    class不可以。

  3. 根据 class getElementsByClass

    如class=“bar”

  4. 根据attribute获取元素 getElementsByAttribute

    如class,等以及自己命名的属性

    li，h1不可以，这是tag，不是属性。

由Element获取数据

  1. 获取id
  2. 获取className
  3. 获取attribute以及attributes
  4. 获取text
    @Test
    public void testTraverse() throws Exception {
        Document document = Jsoup.parse(new File("C:\\Users\\DELL\\Desktop\\demo.html"), "utf-8");
        Element element = document.getElementById("lili");
        System.out.println(element);
        System.out.println(element.id());
        System.out.println(element.className());
        System.out.println(element.text());
        System.out.println(element.attr("class"));
        element.attributes().forEach(s->{
            System.out.println(s);
        });
    }
//
element
<li id="lili" class="class_a class_b"> 
    <a href="http://www.baidu.com" target="_blank"> 
    	<span class="s_name"> 内径 
        </span> 
     </a> 
</li>
//id();    
lili
//className()
class_a class_b
//text()
内径
//attr(key,val)    
class_a class_b
//attributes()
id="lili"
class="class_a class_b"

selector选择器

如document.select(String cssQuery)

document.select(Evaluator evaluator)

参数：

  1. tagname

    如span,li,h2

  2. #id

    #187

  3. .class

    .class_a

  4. [attribute]

    [abc]

  5. [attr=value]

  @Test
    public void testTraverse() throws Exception {
        Document document = Jsoup.parse(new File("C:\\Users\\DELL\\Desktop\\demo.html"), "utf-8");
        System.out.println(document.select("h1"));//tagname
        System.out.println(document.select("#lili"));//#id
        System.out.println(document.select(".class_a"));//.class
        System.out.println(document.select("[food=187]"));//[attr] or [attr=val]
    }
}

组合使用

  1. tagname#id
  2. tagname.class
  3. tagname[attr]
  4. 以上任意组合
  5. ancestor child:查询某个元素下子元素
  6. parent>chid：查询某个元素下直接子元素
  7. parent>*：查询某个元素下所有直接子元素

获取内径，

document.select("li#lili span.a_name")

在这里插入图片描述

html原码：

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="zh-cn">
<head>
    <meta http-equiv="Content-Type" content="text/html;charset=UTF-8" />
    <title>网页标题</title>
    <meta name="keywords" content="关键字列表" />
    <meta name="description" content="网页描述" />
    <link rel="stylesheet" type="text/css" href="" />
    <style type="text/css"></style>
    <script type="text/javascript"></script>
</head>


<body>
<h2    align="center" class="class_a class_b">PHP介绍</h2>
<h2    align="center" food="187">PHP介绍2</h2>
<h2    align="center" class="class_a ">PHP介绍3</h2>
<h3><i><b>PHP未来和发展趋势：</b></i></h3>
<ol>
    <li>我就买了一<font    color="red">5000万</font>个账号，全国各省市的房建、市政、公路、园<font    color="red">60%</font>林、水利、土地整理</li>
    <li>什么叫关联？ 难<b><u>42</u></b>%不成我建一张<b><u>13%</b></u>表格后，所有与此工艺<b><u>24%</b></u>相关的表格</li>
    <li>批量勾选关联或<b><u>80%以上</u></b>表格生成实例工程，然后规划一下验收部位，再</li>
    <li>批量勾选关联或表格生成实例工程，然后规划一下验收部位，再</li>
</ol>
<hr border="2"    color="#330000"/>
<h1 id="test"><b><i>PHP灵活的高效性实现了各种终端和平台的互联网应用</i></b></h1>
<ol>
    <li>备份导出工程文件、模板文件，连关联、个人设置啥都行。</li>
    <li>备份导出工程文件、模板文件，连关联、个人设置啥都行。</li>
    <li>备份导出工程文件、模板文件，连关联、个人设置啥都行。</li>
    <li>备份导出工程文件、模板文件，连关联、个人设置啥都行。</li>
</ol>
<p>  示例随机数、<u>混凝土强度自动计算</u>、<u>工程概况自动填写</u>、<u>表格编辑</u>、<u>公式录入</u>， 这么Low的功能早就有了，资料软件必备的，还用介绍吗？批量勾选关联或表格生成实例工程，然后规划一下验收部位，再点击生成……等……等……等……完成了？？？ 那我还做什么？哦，打印机得去开电源了。咦，难不成其它单位工程也可以用这个实例规划生成？ 爽爆了！示例随机数、混凝土强度自动计算、工程概况自动填写、表格编辑、公式录入， 这么Low的功能早就有了，<font color="red"    size="5"><u><b><i>资料软件必备的，还用介绍吗</i></b></u></font>？
</p>
<hr border="2"    color="#330000"/>
<h2 id="1"><b>PHP就业现状</b></h2>
<h2 id="2"><b>PHP就业现状</b></h2>
<p>  批量勾选关联或表格生成实例工程，然后规划一下验收部位，再点击生成……等……等……等……完成了？？？ 那我还做什么？哦，打印机得去开电源了。咦，难不成其它单位工程也可以用这个实例规划生成？ 爽爆了！批量勾选关联或表格生成实例工程，然后规划一下验收部位，再点击生成……等……等……等……完成了？？？ 那我还做什么？哦，打印机得去开电源了。咦，难不成其它单位工程也可以用这个实例规划生成？ 爽爆了！</p>
<hr border="2"    color="#330000"/>

<h1>今天你要去哪里？</h1>
<ul>
    <li><u><font color="#0000ff">新浪</font></u><br/>
    什么叫关联？ 难不成我建一张表格后，所有与此工艺相关的表格都会自动建立？
</ul>
<ul>
    <li><u><font color="#0000ff">百度</font></u><br/>
    什么叫关联？ 难不成我建一张表格后，所有与此工艺相关的表格都会自动建立？
</ul>
<ul>
    <li><u><font color="#ff15ff">网易</font></u><br/>
    什么叫关联？ 难不成我建一张表格后，所有与此工艺相关的表格都会自动建立？
</ul>
<ul>
<li><b><font size="6">去我页面看看：</font></b></li>
</ul>
<ol>
    <li id="lili" class="class_a class_b">
        <a href="http://www.baidu.com" target="_blank">
            <span class="a_name">
                内径
            </span>
        </a>
        <a href="http://www.baidu" target="_blank">
            <span class="b_name">
                内径s
            </span>
        </a>
    </li>
    <li><u><font color="#0000ff">page2</font></u> &lt表格都会自动建立&gt</li>
    <li><u><font color="#0000ff">page3</font></u> &lt表格都会自动建立&gt</li>
    <li><u><font color="#0000ff">page4</font></u> &lt表格都会自动建立&gt</li>
    <li> color="#0000ff">page5 &lt表格都会自动建立&gt</li>
</ol>
<hr border="2"    color="#330000"/>
</body>



</html>
WKP9418
关注
专栏目录
[Jsoup] Jsoup概述
我在山城重庆，我希望能为这片软件沙漠地带贡献自己的一滴水，Stay tuned!
02-14 3044
Jsoup 简介 背景：我第一次接触Jsoup的时候是在11年、相信做过一些数据挖掘的同学都听说过几种爬虫框架、比如当时风靡的htmlParser。Jsoup的创始人Jonathan Hedley在2009年正式推出了基于java语言的开源框架Jsoup。Jsoup相对htmlParser入手简单、在操作DOM上尤其是在操作DOM的特定数据上尤为突出。jsoup相对httpclie
探索 Jsoup开源项目,深入解析技术点.(我认为他是一个非常好而很容易上手的工具)
积极努力的奔跑在互联网的世界里
09-21 1594
Jsoup与Jquery的区别: jsoup 是一款 Java 的HTML 解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于JQuery的操作方法来取出和操作数据。该版本包含一个支持 HTML5 的解析器分支，可确保跟现在的浏览器一样解析 HTML 的方法，同时降低了解析的时间和内存的占用。点击链接打开JsoupAPIJquery是继
Jsoup2
底层码农
05-17 6197
jsoup的主要功能 jsoup的主要功能如下： 从一个URL，文件或字符串中解析 HTML 使用DOM或CSS选择器来查找、取出数据 可操作HTML元素、属性、文本 PS：虽然使用Jsoup可以替代 HttpClient直接发起请求解析数据，但是往往不会这样用，因为实际的开发过程中，需要使用到多线程，连接池，代理等等方式，而 Jsoup对这些的支持并不是很好，所以我们一般把 Jso...
Jsoup:获取嵌套标签
半途行走的博客
08-15 1581
Elements tem_span = id_7d.select("p[class=tem]> span");
关于jsoup的select（）
lf_breeze的博客
07-21 1150
在爬虫开发过程中发现使用jsoup的select方法是发现： 当使用Elements.select()方法时，碰到相同元素时，会跳过相同元素。 而使用document.select()方法是，不会出现上述情况。 例： String html = "\n" + " \n" + " \n" + " \n"
Jsoup
08-31
Jsoup的核心功能包括： 1. HTML解析：Jsoup能够解析各种各样的HTML源码，无论是干净的结构化HTML还是充满乱七八糟标签的真实网页。它能处理HTML5和HTML4，甚至一些常见的错误格式也能被正确解析。 2. DOM操作：...
jsoup-1.15.3.jar
11-11
jsoup-1.15.3.jar,jsoup-1.15.3.jar,jsoup-1.15.3.jar,jsoup-1.15.3.jar,jsoup-1.15.3.jar,jsoup-1.15.3.jar,jsoup-1.15.3.jar,jsoup-1.15.3.jar，jsoup-1.15.3.jar，jsoup-1.15.3.jar，jsoup-1.15.3.jarjsoup-...
JSoup CSS选择器用法大全
08-15
下面将详细介绍 JSoup 支持的各种 CSS 选择器及其用法。 1. **基本选择器**： - `*`: 通配符选择器，匹配任何元素。 - `tag`: 按照元素名称选择，如 `div` 选择所有的 `<div>` 元素。 - `#id`: 通过元素的 ID ...
jsoup-1.14.3-API文档-中文版.zip
06-05
赠送jar包：jsoup-1.14.3.jar； 赠送原API文档：jsoup-1.14.3-javadoc.jar； 赠送源代码：jsoup-1.14.3-sources.jar； 赠送Maven依赖信息文件：jsoup-1.14.3.pom； 包含翻译后的API文档：jsoup-1.14.3-javadoc-API...
jsoup基于java爬虫项目
最新发布
03-27
Jsoup的主要功能 1）从一个URL，文件或字符串中解析HTML 2）使用DOM或CSS选择器来查找、取出数据 3）可操作HTML元素、属性、文本 注意：jsoup是基于MIT协议发布的，可放心使用于商业项目。 Jsoup的主要功能 1）...
关于js中select 元素拼接
L1766038066的博客
07-29 1632
js 拼接html代码中遇见的问题 1, 格式 (1), w3school 中给的例子: $("button").click(function(){ $("p").append(" <b>Hello world!</b>"); }); 但是在实际的开发中要拼接的的代码是比较复杂的. string 的var 不能直接用双引号 “” 除了拼接,其余的class 样式什么原来是双引号的,要换成单引号,否则会报js 语法错误 2, 常见元素拼接 (1), select 元素拼接 1)
JSOUP学习总结
weixin_72388638的博客
04-30 922
通过解析url 获得html页面(静态页面)，解析页面后可以获取页面DOM获取页面信息。
Jsoup代码解读之七-实现一个CSS Selector
weixin_34384681的博客
08-30 187
2019独角兽企业重金招聘Python工程师标准>>> ...
jsoup 的基本使用以及API内容
shijialeya
11-19 7008
下面是 Jsoup 的 API，参考自：jsoup官方文档 public class org.jsoup.Jsoup 类 extends Object 所有方法 修饰符和类型 方法名称 描述 static String clean​(String bodyHtml, String baseUri, Whitelist whitelist) 通过解析输入HTML并通过允许的标签和属性的白名单对其进行过滤，从不受信任的输入HTML中获得安全的HTML。 static String clean
Java爬虫学习——第三节，使用Jsoup对抓取到的页面分析
baidu_38688646的博客
09-30 445
jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。 导入maven依赖 <!--Jsoup--> <dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <v...
Jsoup（一）Jsoup详解（官方）
a878787877的专栏
12-14 2253
一、Jsoup概述 1.1、简介 jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API， 　可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。 1.2、Jsoup的主要功能 1）从一个URL，文件或字符串中解析HTML 2）使用DOM或CSS选择器来查找、取出数据 ...
jsoup选择器来抓取网页中的数据
热门推荐
王月莹的专栏
10-24 2万+
完整代码 import java.io.IOException; import java.util.List; import org.jsoup.Jsoup; import org.jsoup.nodes.DataNode; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.sel
jsoup:解析HTML用法小结
初来乍到
03-24 1492
1.解析方式  （1）从字符串解析  String html = "First parse Parse HTML into a doc."; Document doc = Jsoup.parse(html);（2）从URL获取解析 Document doc = Jsoup.connect("http://example.com/").get(); String title = doc.tit
使用jsoup高效解析HTML文档
除了选择器，jsoup还提供了许多其他方法来处理元素，如获取文本内容(`text()`)，获取或设置属性(`attr("attributeName")`)，以及添加子元素(`appendElement("tagname")`)等。这些功能使得jsoup成为一个强大的工具，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值