java 爬虫 获取<ul>标签下<li>标签下的内容

1 网页内容 all 里面 --> ul -> li -> 指定div

<div class="all">
<ul>
    <li class="text">
        <div class="title">
            公告
        </div>
        <div class="date">
            2023-07-06
        </div>
    </li>
    <li class="text">
        <div class="title">
            公告
        </div>
        <div class="date">
            2023-07-05
        </div>
    </li>
</ul>
</div>

2 完整代码 将每条数据设置属性 存入map 中 再将map 存入list中

public static void main(String[] args) {
    String url = "https://www.xxx.com";
    try {

     // 创建一个 List,用于存储多个 Map
      List<Map<String, Object>> dataList = new ArrayList<>();

      // Document document = Jsoup.connect(url).get(); // 获取该网页的文档对象

      // 创建连接并设置请求头
      Connection connection = Jsoup.connect(url);
      connection.userAgent(
          "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36");
      connection.header("Accept-Language", "en-US,en;q=0.9");

      // 发起 HTTP 请求获取页面内容
      Document document = connection.get();

      // 选择具有 class 为 "all" 的 <div> 元素
      Element divElement = document.selectFirst("div.all");
      // 选择所有的 <ul> 元素
      Elements ulElements = divElement.select("ul");

      // 遍历每个 <ul> 元素

      for (Element ulElement : ulElements) {
        // 选择当前 <ul> 元素下的所有 <li> 元素
        Elements liElements = ulElement.select("li");

        // 遍历每个 <li> 元素并获取文字内容
        for (Element liElement : liElements) {
          // 获取标题和日期的元素
          Element titleElement = liElement.selectFirst("div.title");
          Element dateElement = liElement.selectFirst("div.date");

          // 获取标题和日期的文本内容
          String title = titleElement.text();
          String date = dateElement.text();

          // 创建一个 Map,用于存储属性
            Map<String, Object> item = new HashMap<>();

            // 添加属性
            item.put("title", title);
            item.put("date", date);

            // 将 Map 添加到 List 中
            dataList.add(item);
        }
       
      }
      // 打印 Map 中的内容

      System.out.println(dataList);
    } catch (IOException e) {
      e.printStackTrace();
    }

  }

    


  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值