jsoup 简介
Java 程序在解析 HTML 文档时,相信大家都接触过 htmlparser 这个开源项目,我曾经在 IBM DW 上发表过两篇关于 htmlparser 的文章,分别是:从 HTML 中攫取你所需的信息和 扩展 HTMLParser 对自定义标签的处理能力。但现在我已经不再使用 htmlparser 了,原因是 htmlparser 很少更新,但最重要的是有了 jsoup 。
jsoup 是一款 Java 的 HTML 解析器,可直接解析某个 URL 地址、HTML 文本内容。它提供了一套非常省力的 API,可通过 DOM,CSS 以及类似于 jQuery 的操作方法来取出和操作数据。
jsoup 的主要功能如下:
从一个 URL,文件或字符串中解析 HTML;
使用 DOM 或 CSS 选择器来查找、取出数据;
可操作 HTML 元素、属性、文本;
jsoup 生僻字乱码问题解决:
1.首先需要看下你要抓取网页的编码
浏览器查看源代码,即可查看到页面编码设置
2.采用下面的方式制定编码抓取即可解决乱码或是生僻字乱码的问题
Copy
String direct_uri = “http://www.baidu.com“;
Document doc;
try {
// doc = Jsoup.connect(direct_uri).userAgent(User_Agent).timeout(5000).get();
doc = Jsoup.parse(new URL(direct_uri).openStream(), “GBK”, direct_uri);
Elements contentdiv = doc.select(“.con-tit”);
logger.info(“==contentdiv:{}”, contentdiv.html());
} catch (IOException e) {
e.printStackTrace();
}
我以前是采用:
doc = Jsoup.connect(direct_uri).userAgent(User_Agent).timeout(5000).get();
这种方式来进行抓取,好处是可以设置user_agent和链接超时时间,但是无法设置编码,后来改用:
doc = Jsoup.parse(new URL(direct_uri).openStream(), “GBK”, direct_uri);
这种方式来设置编码,对于中文网站抓取比较方便!
希望对您有帮助!