android jsoup简书,网页爬虫Jsoup使用简介

jsoup 是一款 Java 的HTML 解析器，可通过DOM，CSS选择器以及类似于JQuery的操作方法来提取和操作Html文档数据。

使用效果

配套视频：

使用步骤

1. 在project的build.gradle添加如下代码(如下图)

allprojects {

repositories {

...

maven { url "https://jitpack.io" }

}

}

2. 在Module的build.gradle添加依赖

compile 'com.github.open-android:Jsoup:jsoup-1.10.2'

3.演示步骤

a.测试用html内容如下

First parse

attribute parse

text parse

b.将演示代码复制到Activity的onCreate方法中

//测试用html字符串

String html = "

First parse"

+ "

attribute parse

"

+ "

text parse

";

//Jsoup解析获得Document对象

Document doc = Jsoup.parse(html);

System.out.println("解析出来的html:\n"+doc.toString());

//获得head元素对象

Element head = doc.head();

//DOM方式获得第一个title元素

Element title = head.getElementsByTag("title").first();

//获得title元素中文本

String text = title.text();

System.out.println("title标签中文本: " + text);

//---------------------------------------

//获得body元素对象

Element body = doc.body();

//选择器语法查找p元素

Elements lists = body.select("p");

//遍历所有p元素，输出p元素文本

for(Element p : lists){

System.out.println("p元素文本: " + p.text());

}

//选择器语法查找第一个拥有align属性的p元素

Element pElement = body.select("p[align]").first();

//获得p元素align属性值

String align = pElement.attr("align");

System.out.println("p元素align属性值: " + align);

注意：如果解析指定url需要添加网络访问权限