Jsoup+HttpClient爬取网页指定内容

最新推荐文章于 2024-08-22 11:00:00 发布

一只菜狗

最新推荐文章于 2024-08-22 11:00:00 发布

阅读量1.1k

点赞数 1

分类专栏：爬虫建站文章标签： jsoup 爬虫

本文链接：https://blog.csdn.net/qq_39007083/article/details/106313518

版权

最近学习了Jsoup，做一些必要的笔记，一来是对自己学习的知识的巩固，二来对有同样问题的人有参考作用

文章目录

一 Jsoup简介

jsoup是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

二 Jsoup主要功能

从一个URL，文件或字符串中解析HTML；
使用DOM或CSS选择器来查找、取出数据；
可操作HTML元素、属性、文本；

注意：jsoup是基于MIT协议发布的，可放心使用于商业项目。

三获取元素常用方法

Document doc = Jsoup.parse(content); // 解析网页 得到文档对象
doc.getElementsByTag("title"); // 获取tag是title的所有DOM元素
doc.getElementById("nav_top");  // 获取id=nav_top的DOM元素
doc.getElementsByClass("card"); // 根据样式名称来查询DOM元素
doc.getElementsByAttribute("width"); // 根据属性名来查询DOM元素
doc.getElementsByAttributeValue("target", "_blank"); // 根据属性名和属性值来查询DOM元素
doc