4种HTML结构化解析方法

最新推荐文章于 2022-04-20 16:45:58 发布

LuWenHui_Leon_

最新推荐文章于 2022-04-20 16:45:58 发布

阅读量2.5k

点赞数

分类专栏：互联网信息采集

本文链接：https://blog.csdn.net/a286352250/article/details/14520643

版权

本文详细介绍了四种HTML结构化解析方法，包括常见的模板定义技巧，帮助理解如何构建和解析网页结构。

摘要由CSDN通过智能技术生成

以下三种方式，每个网站需要定义相关的模板---------

1. dom解析方式 --------------------------------------------------------------------------------------------------------------------------------------
下载：jsoup.jar
参考代码（百度搜索）：
String url = "http://www.baidu.com/s?cl=2&tn=baiduwb&rn=20&ie=utf-8&rtt=2&wd=%E6%9D%8E%E5%A4%A9%E4%B8%80&pn=0";
Document doc = Jsoup.connect(url).get();
Elements eles = doc.select("div[id=wrapper] div[id=main] div[class=content_bg] div[class=content] ol[id=weibo] li");
for (Element element : eles) {
//网址
String url = element.select("div a[name=weibo_rootnick]").attr("href");
//描述
String description = element.select("div").text();
//作者
String author = element.select("div a[name=weibo_rootnick]").text();
//评论数
String pingTotalStr = element.select("div div[class=weibo_info] div[class=weibo_pz] a[name=weibo_ping]").text();
//浏览数
String transTotalStr = element.select("div div[class=weibo_info] div[class=weibo_pz] a[name=weibo_trans]").text();
}

2. 字符串首尾截取--------------------------------------------------------------------------------------------------------------------------------------
public static String substringByKeyNotSkey(String str, String skey, String ekey){
String temp