jsoup 生僻字乱码问题解决

jsoup 简介

Java 程序在解析 HTML 文档时，相信大家都接触过 htmlparser 这个开源项目，我曾经在 IBM DW 上发表过两篇关于 htmlparser 的文章，分别是：从 HTML 中攫取你所需的信息和 扩展 HTMLParser 对自定义标签的处理能力。但现在我已经不再使用 htmlparser 了，原因是 htmlparser 很少更新，但最重要的是有了 jsoup 。

jsoup 是一款 Java 的 HTML 解析器，可直接解析某个 URL 地址、HTML 文本内容。它提供了一套非常省力的 API，可通过 DOM，CSS 以及类似于 jQuery 的操作方法来取出和操作数据。

jsoup 的主要功能如下：

1. 从一个 URL，文件或字符串中解析 HTML；

2. 使用 DOM 或 CSS 选择器来查找、取出数据；

3. 可操作 HTML 元素、属性、文本；

jsoup 生僻字乱码问题解决：

1.首先需要看下你要抓取网页的编码

    浏览器查看源代码，即可查看到页面编码设置

2.采用下面的方式制定编码抓取即可解决乱码或是生僻字乱码的问题

Copy

 String direct_uri = "http://www.baidu.com";
 Document doc;
 try {
 // doc = Jsoup.connect(direct_uri).userAgent(User_Agent).timeout(5000).get();
 doc = Jsoup.parse(new URL(direct_uri).openStream(), "GBK", direct_uri);
 Elements contentdiv = doc.select(".con-tit");
 logger.info("==contentdiv:{}", contentdiv.html());
 } catch (IOException e) {
 e.printStackTrace();
 }

我以前是采用：

doc = Jsoup.connect(direct_uri).userAgent(User_Agent).timeout(5000).get();

这种方式来进行抓取，好处是可以设置user_agent和链接超时时间，但是无法设置编码，后来改用：

doc = Jsoup.parse(new URL(direct_uri).openStream(), "GBK", direct_uri);

这种方式来设置编码，对于中文网站抓取比较方便！

希望对您有帮助！