12.java程序员必知必会类库之HTML解析库

wlyang666

已于 2023-04-26 19:45:32 修改

阅读量3.4k

点赞数 3

分类专栏： java程序员必知必会类库文章标签： html 前端 HTML解析 Jsoup

于 2023-04-26 19:43:40 首次发布

本文链接：https://blog.csdn.net/wlyang666/article/details/130156966

版权

java程序员必知必会类库专栏收录该内容

13 篇文章 2 订阅

订阅专栏

前言

HTML是开发经常遇见的一种报文格式。但是我们日常中，更多是用它来渲染数据。利用他的很多各种标签，格式化我们的数据。一般前端接触的比较多。

但是，随着爬虫技术在互联网上越来越流行，如何处理我们爬到的HTML。。。我们当然可以针对性的代码处理每个HTML，但是每个网站的每个HTML格式，样式都可能会有比较大的差异。市场上急需要一个类库，可以将html中的数据，正常解析，抽取出来。解析HTML的框架组件，受到大家的欢迎追捧。

本节，我就java如何实现HTML解析，做简单介绍

1 JSoup

1.1 介绍

官网英文翻译如下：
jsoup 是一个处理真实世界HTML的java类库。提供了方便的api用于抽取和操作数据，使用最好的HTML5DOM方法和CSS选择器。JSoup实现了 WHATWG 这家公司的h5规范，像浏览器一样，解析HTML到同一个DOM对象。

支持从文件，URL,或者字符串中获取解析HTML
用dom遍历或者CSS选择器发现和抽取数据
操作HTML元素，属性和内容
根据安全列表清除用户提交的内容，以防止XSS攻击
输出整洁的HTML
jsoup的设计目的是处理各种各样的HTML,jsoup将创建一个合理的解析树。

1.2 pom坐标引入

<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.10.2</version>
</dependency>

1.3 使用

1.3.1 加载文档的三种方式

只要解析的不是空字符串，就能返回一个结构合理的文档，其中包含(至少) 一个head和一个body元素。

一旦拥有了一个Document，你就可以使用Document中适当的方法或它父类 Element和Node中的方法来取得相关数据。

1.3.1.1 从字符串加载文档

@Test
public void testHtml1() {
    String html = "<html><head><title>First parse</title></head>"
            + "<body><p>Parsed HTML into a doc.</p></body></html>";
    Document doc = Jsoup.parse(html);
    System.out.println(doc);
}

1.3.1.2 从文件中加载文档

@Test
public void testHtml2() throws Exception {
    Document doc = Jsoup.parse(new File("E:\\weixinData\\WeChat Files\\wxid_gv8xbkloz0wc22\\FileStorage\\File\\2023-03\\test\\src\\main\\resources\\html\\test1.html"), "utf-8");
    System.out.println(doc);
}

1.3.1.3 从URL中加载文档

@Test
public void testHtml3() throws Exception {
    Document doc = Jsoup.connect("https://blog.csdn.net/wlyang666")
    		//可以在请求头添加cookie
            .cookie("token","232893asfasddfasfdas")
            //设置爬取超时时间
            .timeout(10000)
            //get请求
            .get();
    System.out.println(doc);
}

1.3.1.4 解析一个body片段

/**
 * @Description:解析body片段
 * @Author: wanlong
 * @Date: 2023/4/26 14:43
 * @return void
 **/
@Test
public void testParsePart() {
    String html = "<table><div><p>Lorem ipsum.</p>";
    Document doc = Jsoup.parseBodyFragment(html);
    Element body = doc.body();
    System.out.println(doc);
    System.out.println("=============");
    System.out.println(body);
}

使用正常的 Jsoup.parse(String html) 方法，通常也可以得到相同的结果，但是明确将用户输入作为 body片段处理，以确保用户所提供的任何糟糕的HTML都将被解析成body元素。

1.3.2 dom主要api介绍

1.3.2.1 获取元素

getElementById(String id);
getElementsByTag(String tag);
getElementsByClass(String className);
getElementsByAttribute(String key);

siblingElements();
firstElementSibling();
lastElementSibling();
nextElementSibling();
previousElementSibling();

siblingElements();
firstElementSibling();
lastElementSibling();
nextElementSibling();
previousElementSibling();

parent();
children();
child(int index);

1.3.2.2 元素数据和属性

//获取属性
attr(String key);
//设置属性
attr(String key, String value);
//获取所有属性
attributes();
//获取元素ID
id();
//获取元素类名
className(); 
//获取元素所有类名
classNames();
//获取元素文本内容
text();
//设置元素文本内容
text(String value);
//获取元素内HTML
html();
//获取元素外HTML内容
outerHtml();
//获取元素数据内容（例如：script和style标签)
data();
//获取元素tag  和 tag名字
tag();
tagName();

1.4 测试案例

1.4.1 需求：

需要获得CSDN排行榜作者榜每个作者的用户名和名次，这里只简单演示排名如何用解析HTML的方式爬取，方式不一定合理，甚至也能通过直接api接口的方式获取数据。只是为了演示解析HTML。

1.4.2 步骤

调接口获取前100个用户的用户名

@Test
public void test(){
    Map<String,String> resultMap=new LinkedHashMap<>();
    for (int i = 1; i <5 ; i++) {
        String url = String.format("https://blog.csdn.net/phoenix/web/v2/rank?page=%s&pageSize=25&rankType=total_author", "" + i);
        String data = HttpUtil.get(url);
        JSONObject jsonData = JSONObject.parseObject(data);
        JSONArray list = jsonData.getJSONObject("data").getJSONArray("list");
        for (Object o : list) {
            JSONObject json=(JSONObject)o;
            resultMap.put(json.getString("userName"),json.getString("currentRank"));
        }
    }
    System.out.println(JSONObject.toJSONString(resultMap));
}

在这里插入图片描述
2. 逐个到这100个用户首页，爬取用户首页HTML，解析HTML,获取排名

@Test
public void testHtml3() throws Exception {
   //这里正常维护的是前100个用户的用户名和接口获取的排名信息，这里考虑到用户隐私不展示，用我的账号做测试
   String str="{\"wlyang666\":\"22\"}";
   Map<String, String> resultMap = new LinkedHashMap<>();
   //1.读取博客总榜
   JSONObject json = JSONObject.parseObject(str);
   for (Map.Entry<String, Object> stringObjectEntry : json.entrySet()) {
       String username = stringObjectEntry.getKey();
       String url = String.format("https://blog.csdn.net/%s", username);
       //2.遍历每个作者，读取每个作者排名
       Document doc = Jsoup.connect(url)
               .cookie("token", "232893asfasddfasfdas")
               .timeout(10000)
               .get();
       //解析文档
       Elements paimingDiv = doc.getElementsMatchingOwnText("排名");
       for (Element element : paimingDiv) {
           try {
               String paiming = element.firstElementSibling().text();
               resultMap.put(username, paiming);
           } catch (Exception e) {
               System.out.println("有异常" + element);
               e.printStackTrace();
           }
       }
   }
   System.out.println(JSONObject.toJSONString(resultMap));
}

1.4.3 运行结果

{“wlyang666”:“17,152”}

1.5 注意事项：

解析HTML可传参数 baseUri 是用来将相对 URL 转成绝对URL，并指定从哪个网站获取文档。
解析html有各种可能失败的场景，包括上面的案例，在真实测试的时候，也有个别客户解析失败，这种建议先捕获异常，后期考虑看是否做兼容处理，还是个别数据不重要直接丢弃
爬取网页过程，可能需要校验登录信息等，此时可以在请求头封装token，cokkie等信息

参考文档：

jsoup官网

wlyang666

关注

3
点赞
踩
6

收藏

觉得还不错? 一键收藏
0
评论
12.java程序员必知必会类库之HTML解析库

随着爬虫技术在互联网上越来越流行，如何处理我们爬到的HTML。。。我们当然可以针对性的代码处理每个HTML，但是每个网站的每个HTML格式，样式都可能会有比较大的差异。市场上急需要一个好用高效的类库，可以将html中的数据，正常解析，抽取出来
复制链接

扫一扫