Jsoup解析Html学习之路
由于正则解析HTML学习难度较大,选择了Jsoup工具来解析HTML标签,对于没有学过正则的同学可以很方便的调用对象来进行解析
Jsoup 是一款 Java 的HTML 解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,CSS以及类似于JQuery的操作方法来取出和操作数据
接下来就来一步步学习怎么使用:
首先我们需要下载jar包,下载地址:
http://mvnrepository.com/artifact/org.jsoup/jsoup
之后我们将jar引入到工程里面,也可以使用glide来引用。
-Jsoup的主要功能
- 使用DOM或CSS选择器来查找、取出数据
- 可操作HTML元素、属性、文本
- 从一个URL,文件或字符串中解析HTML
-Jsoup简单使用
1.创建Document对象
2.通过方法取得元素
3.通过遍历Elements对象拿到值
首先第一步:
Document doc = Jsoup.connect(url).get();
url可以是String、链接地址、文件路径
如果访问出来的页面是手机端的页面,是需要添加模拟浏览器访问,使用方法:
.userAgent(“Mozilla/4.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)”)
模拟火狐浏览器,具体想要模拟那种浏览器请自行百度
.timeout(10000)设置页面的超时时间。
让我们以http://cpc.people.com.cn/GB/194302/194306/index.html为例子来实现。
我们要获取新闻标题与内容链接。
jsoup提供类似JS获取html元素:
getElementById(String id) 用id获得元素
getElementsByTag(String tag) 用标签获得元素
getElementsByClass(String className) 用class获得元素
getElementsByAttribute(String key) 用属性获得元素
try {
Document doc =Jsoup.connect("http://cpc.people.com.cn/GB/194302/194306/index.html")
.userAgent("Mozilla/4.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)")
.timeout(10000).get();
Elements content = doc.getElementsByClass("d2_9");
for (Element con : content) {
Elements links = con.getElementsByTag("a");
for (Element link : links) {
String linkHref = link.attr("href");
String linkText = link.text();
Log.e(TAG, "链接:" + linkHref);
Log.e(TAG, "标题:" + linkText);
}
}
} catch (IOException e) {
e.printStackTrace();
Log.w(TAG, e.toString());
}
注意:
如果是url是链接地址是需要将这段代码放入到子线程中来操作,原因不细讲了。
获得与设置元素的数据
attr(String key) 获得元素的数据 attr(String key, String value) 设置元素数据
attributes() 获得所以属性
id(), className() classNames() 获得id class得值
text()获得文本值
text(String value) 设置文本值
html() 获取html
html(String value)设置html
outerHtml() 获得内部html
data()获得数据内容
tag() 获得tag 和 tagName() 获得tagname
-Jsoup进阶选择器使用
jsoup还提供了类似于JQuery方式的选择器
采用选择器来检索数据
tagname 使用标签名来定位,例如 a
ns|tag 使用命名空间的标签定位,例如 fb:name 来查找 元素
id 使用元素 id 定位,例如 #logo
.class 使用元素的 class 属性定位,例如 .head
* 定位所有元素
[attribute] 使用元素的属性进行定位,例如 [href] 表示检索具有 href 属性的所有元素
[^attr] 使用元素的属性名前缀进行定位,例如 [^data-] 用来查找 HTML5 的 dataset 属性
[attr=value]使用属性值进行定位,例如 [width=500] 定位所有 width 属性值为 500 的元素
[attr^=value],[attr$=value],[attr*=value] 这三个语法分别代表,属性以 value 开头、结尾以及包含
[attr~=regex]使用正则表达式进行属性值的过滤,例如 img[src~=(?i).(png|jpe?g)]
以上是最基本的选择器语法,这些语法也可以组合起来使用
组合用法
el#id 定位id值某个元素,例如 a#logo ->
el.class 定位 class 为指定值的元素,例如 div.head ->xxxx
el[attr] 定位所有定义了某属性的元素,例如 a[href]
以上三个任意组合 例如 a[href]#logo 、a[name].outerlink
除了一些基本的语法以及这些语法进行组合外,jsoup 还支持使用表达式进行元素过滤选择
:lt(n) 例如 td:lt(3) 表示小于三列
:gt(n) div p:gt(2) 表示 div 中包含 2 个以上的 p
:eq(n) form input:eq(1) 表示只包含一个 input 的表单
:has(seletor) div:has(p) 表示包含了 p 元素的 div
:not(selector) div:not(.logo) 表示不包含 class=logo 元素的所有 div 列表
:contains(text) 包含某文本的元素,不区分大小写,例如 p:contains(oschina)
:containsOwn(text) 文本信息完全等于指定条件的过滤
:matches(regex) 使用正则表达式进行文本过滤:div:matches((?i)login)
:matchesOwn(regex) 使用正则表达式找到自身的文本
-Jsoup获取美女网站图片地址
http://www.meiyuanguan.com/catalog.asp?page=1
try {
Document doc = Jsoup.connect(url).userAgent("Mozilla/4.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)").timeout(10000).get();
Elements divs = doc.getElementsByClass("lieb");
for (Element div : divs) {
Elements lis = div.select("ul li");
Log.e(TAG, "content:" + lis.size());
for (Element ls : lis) {
MeiYuanBen meiYuanBen = new MeiYuanBen();
Elements h2s = ls.select("h2");
for (Element h2 : h2s) {
Elements as = h2.select("a[href$=.html]");
for (Element a : as) {
String linkHref = a.attr("href");
String linkText = a.text();
Log.e(TAG, "h2 linkHref:" + linkHref);
Log.e(TAG, "h2 linkText:" + linkText);
meiYuanBen.setUrl(linkHref);
meiYuanBen.setTitie(linkText);
}
}
Elements ps = ls.select("p");
for (Element p : ps) {
Elements imgs = p.select("img");
for (Element img : imgs) {
String linkHref = img.attr("src");
Log.e(TAG, "p linkHref:" + linkHref);
meiYuanBen.setImgurl(linkHref);
}
}
meiYuanBens.add(meiYuanBen);
}
}
handler.post(runnableUi);
} catch (IOException e) {
e.printStackTrace();
Log.w(TAG, "出异常了:" + e.toString());
}
通过每组图片对应的链接取出图片合集:
try {
Document doc = Jsoup.connect(url).userAgent("Mozilla/4.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)").timeout(10000).get();
Elements content = doc.getElementsByClass("info-zi");
for (Element con : content) {
Elements ps = con.getElementsByTag("p");
for (Element p : ps) {
Elements imgs = p.select("img");
for (Element img : imgs) {
ImgBen imgBen = new ImgBen();
String linkHref = img.attr("src");
String linkText = img.attr("title");
Log.e(TAG, "linkHref:" + linkHref);
Log.e(TAG, "linkText:" + linkText);
imgBen.setLink(linkHref);
imgBen.setTitle(linkText);
imgBens.add(imgBen);
}
}
}
handler.post(runnableUi);
} catch (IOException e) {
e.printStackTrace();
Log.w(TAG, "出异常了:" + e.toString());
}
通过gridview展示,具体代码就不贴了,大家学习就好。
快捷键
- 加粗
Ctrl + B
- 斜体
Ctrl + I
- 引用
Ctrl + Q
- 插入链接
Ctrl + L
- 插入代码
Ctrl + K
- 插入图片
Ctrl + G
- 提升标题
Ctrl + H
- 有序列表
Ctrl + O
- 无序列表
Ctrl + U
- 横线
Ctrl + R
- 撤销
Ctrl + Z
- 重做
Ctrl + Y