Java爬虫（二）--解析一个HTML字符串

最新推荐文章于 2024-05-14 19:21:39 发布
最新推荐文章于 2024-05-14 19:21:39 发布
阅读量1.6k 收藏 4
点赞数
分类专栏： Java 文章标签： Jsoup Html Java SpringBoot java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010663021/article/details/77642763
版权

使用Jsoup的静态方法 Jsoup.parse(String html) 把 html 字符串解析为一个新的 Documnet 文档，然后通过使用 Document 中的方法或者它父类 Element 和 Node 中的方法取得相关的数据。

下面以获取
http://mvnrepository.com/artifact/org.apache.httpcomponents/httpclient/4.5.3 这个页面中所有的 table 为例子。

1、原网页界面：

这里写图片描述

2、源码：

package com.makerspace.html.jsoup;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;

import org.apache.http.HttpEntity;
import org.apache.http.HttpResponse;
import org.apache.http.client.HttpClient;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.HttpClientBuilder;
import org.jsoup.Jsoup;
import org.jsoup.helper.StringUtil;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

/**
 * 描述:通过Jsoup获取页面信息
 * 公司: www.makerspace.com
 * @autho guanqin_li
 * @time 2017年8月25日 下午3:41:47
*/
public class JsoupTest {

    public void Test() {
        // HttpClient httpClient = new DefaultHttpClient();//DefaultHttpClient已经被弃用
        HttpClient httpClient = HttpClientBuilder.create().build();
        HttpGet get = new HttpGet("http://mvnrepository.com/artifact/org.apache.httpcomponents/httpclient/4.5.3");
        try {
            HttpResponse resp = httpClient.execute(get);
            HttpEntity entity = resp.getEntity();
            String html = convertStreamToString(entity.getContent());// 将输入流InputStream转换为String
            if (!StringUtil.isBlank(html)) {
                Document doc = Jsoup.parse(html);// 把html字符串解析为一个新的Documnet文档
                if (null != doc) {
                    Elements elements = doc.getElementsByTag("table");// 通过tag标签获取元素
                    if (null != elements && elements.size() > 0) {
                        for (Element element : elements) {
                            System.out.println("===================================================");
                            System.out.println(element.toString());
                        }
                    }
                }
            } else {
                System.out.println("html str is blank !!");
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

    /**
     * 方法名称：convertStreamToString
     * 方法说明：将输入流InputStream转换为String
     * @param is
     * @return
     * @autho guanqin_li 
     * @time 2017年8月25日 下午3:56:27
     */
    public static String convertStreamToString(InputStream is) {
        BufferedReader reader = new BufferedReader(new InputStreamReader(is));
        StringBuilder sb = new StringBuilder();

        String line = null;
        try {
            while ((line = reader.readLine()) != null) {
                sb.append(line + "\n");
            }
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            try {
                is.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }

        return sb.toString();
    }

    public static void main(String[] args) {
        new JsoupTest().Test();
    }

}

3、获取该页面所有 table 的结果：

===================================================
<table class="grid" width="100%">
 <tbody>
  <tr>
   <th>License</th>
   <td><span class="b lic">Apache 2.0</span></td>
  </tr>
  <tr>
   <th>Categories</th>
   <td><a href="/open-source/http-clients" class="b c">HTTP Clients</a></td>
  </tr>
  <tr>
   <th>HomePage</th>
   <td><a href="http://hc.apache.org/httpcomponents-client" rel="nofollow"> http://hc.apache.org/httpcomponents-client </a></td>
  </tr>
  <tr>
   <th>Date</th>
   <td>(Jan 21, 2017) </td>
  </tr>
  <tr>
   <th style="width: 12em;">Files</th>
   <td><a class="vbtn" href="http://central.maven.org/maven2/org/apache/httpcomponents/httpclient/4.5.3/httpclient-4.5.3.jar">Download (JAR)</a><span style="color: black; font-weight: bold;"> (696 KB) </span></td>
  </tr>
  <tr>
   <th style="width: 12em;">Repositories</th>
   <td><a class="b lic" href="/repos/central">Central</a></td>
  </tr>
  <tr>
   <th>Used By</th>
   <td><a href="/artifact/org.apache.httpcomponents/httpclient/usages"><b>5,584 artifacts</b></a></td>
  </tr>
 </tbody>
</table>
===================================================
<table class="grid" style="vertical-align: middle" width="100%">
 <thead>
  <tr>
   <th style="width: 12em; text-align: center">Category/License</th>
   <th style="width: 28px"></th>
   <th> Group / Artifact</th>
   <th style="text-align: center">Version</th>
   <th style="text-align: center">Updates</th>
  </tr>
 </thead>
 <tbody>
  <tr>
   <td style="text-align: right"><a href="/open-source/base64-libraries" class="b c">Base64</a><br><span class="b lic">Apache 2.0</span></td>
   <td>
    <picture>
     <source type="image/webp" srcset="https://d2j3q9yua85jt3.cloudfront.net/img/a117c37ecc0ed0750c48bd4755638e06">
     <img class="im-logo" width="28" height="28" src="https://d2j3q9yua85jt3.cloudfront.net/img/c44e3998569145e628d7d13a288ba5a">
    </picture></td>
   <td><a href="/artifact/commons-codec">commons-codec</a> » <a href="/artifact/commons-codec/commons-codec">commons-codec</a></td>
   <td style="text-align: center"><a class="vbtn release" href="/artifact/commons-codec/commons-codec/1.9"> 1.9</a></td>
   <td style="text-align: center"><a class="vbtn release" href="/artifact/commons-codec/commons-codec/1.10">1.10</a></td>
  </tr>
  <tr>
   <td style="text-align: right"><a href="/open-source/logging-frameworks" class="b c">Logging</a><br><span class="b lic">Apache 2.0</span></td>
   <td>
    <picture>
     <source type="image/webp" srcset="https://d2j3q9yua85jt3.cloudfront.net/img/a117c37ecc0ed0750c48bd4755638e06">
     <img class="im-logo" width="28" height="28" src="https://d2j3q9yua85jt3.cloudfront.net/img/bb2b8886770c45c0e0d07cc97851a6f1">
    </picture></td>
   <td><a href="/artifact/commons-logging">commons-logging</a> » <a href="/artifact/commons-logging/commons-logging">commons-logging</a></td>
   <td style="text-align: center"><a class="vbtn release" href="/artifact/commons-logging/commons-logging/1.2"> 1.2</a></td>
   <td style="text-align: center"> ✔ </td>
  </tr>
  <tr>
   <td style="text-align: right"><a href="/open-source/http-clients" class="b c">HTTP Clients</a><br><span class="b lic">Apache 2.0</span></td>
   <td>
    <picture>
     <source type="image/webp" srcset="https://d2j3q9yua85jt3.cloudfront.net/img/d0a90db48344c7126a6b54f1f3089347">
     <img class="im-logo" width="28" height="28" src="https://d2j3q9yua85jt3.cloudfront.net/img/e722b6263952f18e235cd8e0985546a1">
    </picture></td>
   <td><a href="/artifact/org.apache.httpcomponents">org.apache.httpcomponents</a> » <a href="/artifact/org.apache.httpcomponents/httpcore">httpcore</a></td>
   <td style="text-align: center"><a class="vbtn release" href="/artifact/org.apache.httpcomponents/httpcore/4.4.6"> 4.4.6</a></td>
   <td style="text-align: center"> ✔ </td>
  </tr>
 </tbody>
</table>
===================================================
<table class="grid" style="vertical-align: middle" width="100%">
 <thead>
  <tr>
   <th style="width: 12em; text-align: center">Category/License</th>
   <th style="width: 28px"></th>
   <th> Group / Artifact</th>
   <th style="text-align: center">Version</th>
   <th style="text-align: center">Updates</th>
  </tr>
 </thead>
 <tbody>
  <tr>
   <td style="text-align: right"><a href="/open-source/testing-frameworks" class="b c">Testing</a><br><span class="b lic">EPL 1.0</span></td>
   <td>
    <picture>
     <source type="image/webp" srcset="https://d2j3q9yua85jt3.cloudfront.net/img/d0f73ecf7a2ecdc8f1082e67dbb5617d">
     <img class="im-logo" width="28" height="28" src="https://d2j3q9yua85jt3.cloudfront.net/img/7cb2d4617d97415f562bd5711c429a95">
    </picture></td>
   <td><a href="/artifact/junit">junit</a> » <a href="/artifact/junit/junit">junit</a></td>
   <td style="text-align: center"><a class="vbtn release" href="/artifact/junit/junit/4.11"> 4.11</a></td>
   <td style="text-align: center"><a class="vbtn release" href="/artifact/junit/junit/4.12">4.12</a></td>
  </tr>
  <tr>
   <td style="text-align: right"><a href="/open-source/mocking" class="b c">Mocking</a><br><span class="b lic">MIT</span></td>
   <td>
    <picture>
     <source type="image/webp" srcset="https://d2j3q9yua85jt3.cloudfront.net/img/883ab1fd45b7243b298b18790e70cf3e">
     <img class="im-logo" width="28" height="28" src="https://d2j3q9yua85jt3.cloudfront.net/img/ab8655889ce452e2fa4713aa13b8428f">
    </picture></td>
   <td><a href="/artifact/org.mockito">org.mockito</a> » <a href="/artifact/org.mockito/mockito-core">mockito-core</a></td>
   <td style="text-align: center"><a class="vbtn release" href="/artifact/org.mockito/mockito-core/1.8.5"> 1.8.5</a></td>
   <td style="text-align: center"><a class="vbtn release" href="/artifact/org.mockito/mockito-core/2.9.0">2.9.0</a></td>
  </tr>
 </tbody>
</table>
===================================================
<table class="grid" width="100%">
 <thead>
  <tr>
   <th style="width: 16em;">License</th>
   <th>URL</th>
  </tr>
 </thead>
 <tbody>
  <tr>
   <td>The Apache Software License, Version 2.0</td>
   <td><a href="http://www.apache.org/licenses/LICENSE-2.0.txt" rel="nofollow"> http://www.apache.org/licenses/LICENSE-2.0.txt </a></td>
  </tr>
  <tr>
   <td>Apache License, Version 2.0</td>
   <td><a href="http://www.apache.org/licenses/LICENSE-2.0.txt" rel="nofollow"> http://www.apache.org/licenses/LICENSE-2.0.txt </a></td>
  </tr>
 </tbody>
</table>
===================================================
<table class="grid" width="100%">
 <thead>
  <tr>
   <th style="width: 16em;">Name</th>
   <th>Email</th>
   <th>Dev Id</th>
   <th>Roles</th>
   <th>Organization</th>
  </tr>
 </thead>
 <tbody>
  <tr>
   <td>Ortwin Glueck</td>
   <td> oglueck -at- apache.org</td>
   <td>oglueck</td>
   <td>Emeritus PMC</td>
   <td></td>
  </tr>
  <tr>
   <td>Oleg Kalnichevski</td>
   <td> olegk -at- apache.org</td>
   <td>olegk</td>
   <td>Committer, PMC</td>
   <td></td>
  </tr>
  <tr>
   <td>Asankha C. Perera</td>
   <td> asankha -at- apache.org</td>
   <td>asankha</td>
   <td>Committer, PMC Chair</td>
   <td></td>
  </tr>
  <tr>
   <td>Sebastian Bazley</td>
   <td> sebb -at- apache.org</td>
   <td>sebb</td>
   <td>Committer, PMC</td>
   <td></td>
  </tr>
  <tr>
   <td>Erik Abele</td>
   <td> erikabele -at- apache.org</td>
   <td>erikabele</td>
   <td>Committer, PMC</td>
   <td></td>
  </tr>
  <tr>
   <td>Ant Elder</td>
   <td> antelder -at- apache.org</td>
   <td>antelder</td>
   <td>Committer, PMC</td>
   <td></td>
  </tr>
  <tr>
   <td>Paul Fremantle</td>
   <td> pzf -at- apache.org</td>
   <td>pzf</td>
   <td>Committer, PMC</td>
   <td></td>
  </tr>
  <tr>
   <td>Roland Weber</td>
   <td> rolandw -at- apache.org</td>
   <td>rolandw</td>
   <td>Emeritus PMC</td>
   <td></td>
  </tr>
  <tr>
   <td>Sam Berlin</td>
   <td> sberlin -at- apache.org</td>
   <td>sberlin</td>
   <td>Committer</td>
   <td></td>
  </tr>
  <tr>
   <td>Sean C. Sullivan</td>
   <td> sullis -at- apache.org</td>
   <td>sullis</td>
   <td>Committer</td>
   <td></td>
  </tr>
  <tr>
   <td>Jonathan Moore</td>
   <td> jonm -at- apache.org</td>
   <td>jonm</td>
   <td>Committer, PMC</td>
   <td></td>
  </tr>
  <tr>
   <td>Gary Gregory</td>
   <td> ggregory -at- apache.org</td>
   <td>ggregory</td>
   <td>Committer</td>
   <td></td>
  </tr>
  <tr>
   <td>William Speirs</td>
   <td> wspeirs at apache.org</td>
   <td>wspeirs</td>
   <td>Committer</td>
   <td></td>
  </tr>
  <tr>
   <td>Karl Wright</td>
   <td> kwright -at- apache.org</td>
   <td>kwright</td>
   <td>Committer</td>
   <td></td>
  </tr>
  <tr>
   <td>Francois-Xavier Bonnet</td>
   <td> fx -at- apache.org</td>
   <td>fx</td>
   <td>Committer</td>
   <td></td>
  </tr>
 </tbody>
</table>
热血蜗牛
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Java数据爬虫程序jsoup
wendy专栏
04-09 337
1、导入包&lt;dependency&gt; &lt;!-- jsoup HTML parser library @ https://jsoup.org/ --&gt; &lt;groupId&gt;org.jsoup&lt;/groupId&gt; &lt;artifactId&gt;jsoup&lt;/artifactId&gt; &lt;version&gt;1.11
Java正则表达式详解+基于HTMLParser解析HTML网页
08-02
如何在Java程序中利用正则表达式实现对字符串的解析.另外,HTMLParser是一款很强大的对HTML网页进行解析的工具,其中大量地用到正则表达式.
Java如何解析html里面的内容并存到数据库
热门推荐
吴名氏的博客
06-22 16万+
Java如何解析html里面的内容并存到数据库
Java爬虫的几种方式
最新发布
weixin_42795092的博客
05-14 1060
最后，使用一个循环遍历每个链接，并通过link.text()获取链接的文本，通过link.attr(“href”)获取链接的URL。通过Selenium，您可以控制浏览器的行为，获取完整的页面内容。在上面的示例代码中，我们创建了一个WebClient对象，它代表了一个模拟的浏览器。当使用Java IO进行爬虫时，我们需要先获取网页的内容，然后可以使用Java IO类来处理和解析这些内容。请注意，HtmlUnit是一个强大的工具，可以模拟用户在浏览器中的操作，但它的运行需要一些依赖库。
java解析html
hjji12的博客
04-18 4140
java解析html
JAVA爬虫，解析html，从中获取文本
qq_51477061的博客
06-02 1263
刚开始的思路是，通过文章的字段进行findElementBy(id/class)，但通过解析前端代码，发现文本字段没有id/class，难以直接获取。但现在就出现了一个问题：prelist 是 element 格式，无法直接进行正则。通过向上折叠发现有class/id字段。决定尝试下最简单的toString()然后通过编写正则表达式获取文本。尝试了网上的svg转String。于是通过jsoup获取。
JavaUser-Agent解析库
08-08
JavaUser-Agent解析库是用于处理和解析HTTP请求头中的User-Agent字符串的工具，这对于Web开发、数据分析或爬虫程序来说非常关键。User-Agent字符串包含了访问网站的客户端信息，如浏览器类型、版本、操作系统等。在...
基于Java的源码-HTML解析器 jsoup.zip
07-15
1. **选择器API**：jsoup支持CSS选择器，这意味着开发者可以像在jQuery中那样，通过简单的字符串表达式选择HTML元素。例如，`$("div.container > p")`将选取所有`div.container`下的直接子`p`元素。 2. **选择器...
基于Java的实例源码-HTML解析器 jsoup.zip
06-27
1. **HTML解析**：`jsoup`能够解析HTML字符串或者从URL直接加载页面，生成一个`Document`对象，这是整个HTML结构的基础表示。它处理HTML的不规范性，如未闭合的标签，确保解析后的结果准确无误。 2. **CSS选择器**...
Java爬虫--爬取xx娱乐网的数据，让你的程序不单薄（一）
05-07
通过以上步骤，我们可以实现一个简单的Java爬虫，从xx娱乐网抓取数据并存入MySQL数据库，同时在控制台进行数据去重的检查。这个过程既涵盖了网络请求、HTML解析，也涉及到了数据库操作和异常处理等核心知识点，是...
wind-bell风铃虫轻量级爬虫工具-其他
06-12
此外，风铃虫还是一款对普通用户十分友好的工具，它提供的大量链接提取器和内容提取器让用户可以随心所欲地快速配置，甚至于只要提供一个开始请求地址就能配置出自己爬虫程序。同时，风铃虫也开放了许多自定义接口，...
Java 解析HTML字符串，获取标签内容
qq_27753441的博客
04-25 8045
1.简介 刚到一个新公司，web项目，接收第一个需求有需要解析一个内容为HTML的字符串，截取其中一个标签的内容，想了很多方法，比如正则等，然后一个大佬同事给介绍了jsoup, jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API， 　可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。 2.主要功能 1.从一个URL，文件或字符串中解析HTML 2.使用DOM或CSS选择器来查找...
java解析html字符串_HTML学习--JavaScript
weixin_39736047的博客
11-25 474
1.标签<也可通过js文件进行引用<Script标签内容的执行也同Java一样按顺序执行，不过，加载是按照异步进行加载的。在学习Java中我们知道线程的同步进行，具有一定的安全性，且具有一个等待的过程，即当要做一件事时，要么不做，要么全部做完，这就是Java中的同步。而异步也并非是直不安全，其也有等待的过程，只不过等待的是另一件事，例如生活中麦当劳排队的时候，排队点餐需要等待，但后来者...
java 解析html字符串_如何在Java中解析HTML字符串？
weixin_39991531的博客
02-16 545
小编典典我在某个地方找到了(不记得在哪里)：public static DocumentFragment parseXml(Document doc, String fragment){// Wrap the fragment in an arbitrary element.fragment = ""+fragment+"";try{// Create a DOM builder and pars...
java解析html_在Java代码中解析html,获取其中的值方法
weixin_35212962的博客
02-12 1838
有时我们获取到了页面需要在Java代码中进行解析,获取html中的数据,Jsoup是一个很方便的工具。一、什么是Jsoup？可在官网下载对应的jar通俗的将Jsoup就是一个解析网页的东西二、示例1、页面,通过查询获取到了一些数据:2、源码,这是一个table,class="list",通过这些来唯一标识它3、代码,将html以String的形式传进来,使用Jsoup进行解析:import org...
12.java程序员必知必会类库之HTML解析库
wlyang666的博客
04-26 3469
随着爬虫技术在互联网上越来越流行，如何处理我们爬到的HTML。。。我们当然可以针对性的代码处理每个HTML，但是每个网站的每个HTML格式，样式都可能会有比较大的差异。市场上急需要一个好用高效的类库，可以将html中的数据，正常解析，抽取出来
深入理解Jsoup：Java的HTML解析神器
djmacdtr的博客
05-13 1978
在这篇文章中，我们深入探讨了Jsoup，这是一个用于处理HTML的强大Java库。我们首先了解了Jsoup的基本概念，然后通过实际示例展示了如何使用Jsoup来解析HTML，提取元素和数据。我们进一步探讨了Jsoup的常用方法，如连接和获取文档，查询和提取元素等。此外，我们还讨论了Jsoup在网络爬虫中的应用，并展示了一个简单的网络爬虫示例。最后，我们对Jsoup进行了横向对比，与JDOM、DOM4J、HTMLUnit等其他HTML处理技术进行了比较。
java解析html字符串
qq_42513284的博客
03-01 2005
文章目录1.依赖2.解析 1.依赖 <dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.10.2</version> </dependency> 2.解析 public static void main(String[] args) { String htm
Java自动化-selenium
编程思维
05-09 1088
Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，Selenium可以直接运行在浏览器上，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器（2018年开发者说暂停开发，chromedriver也可以实现同样的功能），可以接收指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏。个人通俗的理解就是：模拟人的行为去各个网站溜达,点点按钮,查查数据,或者把看到的信息背回来。就像一只蜘蛛在一幢楼里不知疲倦地爬来爬去。
java 爬虫 获取源代码 拆分 html
06-24
获取到的源代码通常是一个包含HTML标签和CSS样式等文本字符串。 随后需要对获取的源代码进行解析和处理，这时我们可以选择使用各种类库和工具（比如Jsoup）来解析HTML代码，根据HTML标签来提取所需的数据。这些工具...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值