解析爬虫， Document解析html

最新推荐文章于 2022-04-17 17:35:10 发布

scschen

最新推荐文章于 2022-04-17 17:35:10 发布

阅读量3.3k

点赞数

分类专栏： java jsoup 文章标签： jsoup

本文链接：https://blog.csdn.net/scschen/article/details/43637241

版权

本文介绍了jsoup库用于加载、解析和操作HTML文档的方法，包括从不同来源获取HTML、提取元素、修改数据以及进行文档清理。通过示例展示了jsoup的基本、组合和表达式用法。

摘要由CSDN通过智能技术生成

1，jsoup 可以从包括字符串、URL 地址以及本地文件来加载 HTML 文档，并生成 Document 对象实例。

// 直接从字符串中输入 HTML 文档
 String html = "<html><head><title> 开源中国社区 </title></head>"
  + "<body><p> 这里是 jsoup 项目的相关文章 </p></body></html>"; 
 Document doc = Jsoup.parse(html); 

 // 从 URL 直接加载 HTML 文档
 Document doc = Jsoup.connect("http://www.oschina.net/").get(); 
 String title = doc.title(); 

 Document doc = Jsoup.connect("http://www.oschina.net/") 
  .data("query", "Java")   // 请求参数
  .userAgent("I ’ m jsoup") // 设置 User-Agent 
  .cookie("auth", "token") // 设置 cookie 
  .timeout(3000)           // 设置连接超时时间
  .post();                 // 使用 POST 方法访问 URL 

 // 从文件中加载 HTML 文档
 File input = new File("D:/test.html"); 
 Document doc = Jsoup.parse(input,"UTF-8","http://www.oschina.net/");

2，解析并提取 HTML 元素

File input = new File("D:/test.html"); 
 Document doc = Jsoup.parse(input, "UTF-8", "http://www.oschina.net/"); 

 Element content = doc.getElementById("content"); 
 Elements links