java解析html头文件,crawler4j抓取页面使用jsoup解析html时的解决方法

crawler4j对已有编码的页面抓取效果不错，用html">jsoup解析，很多会jquery的程序员都可以操作。但是，crawler4j对response没有指定编码的页面，解析成乱码，很让人烦恼。在找了苦闷之中，无意间发现一年代已久的博文，可以解决问题，修改 Page.load() 中的 contentData 编码即可，这让我心中顿时舒坦了很多，接下来的问题都引刃而解了。

public void load(HttpEntity entity) throws Exception {

contentType = null;

Header type = entity.getContentType();

if (type != null) {

contentType = type.getValue();

}

contentEncoding = null;

Header encoding = entity.getContentEncoding();

if (encoding != null) {

contentEncoding = encoding.getValue();

}

Charset charset = ContentType.getOrDefault(entity).getCharset();

if (charset != null) {

contentCharset = charset.displayName();

}else{

contentCharset = "utf-8";

}

//源码

//contentData = EntityUtils.toByteArray(entity);

//修改后的代码

contentData = EntityUtils.toString(entity, Charset.forName("gbk")).getBytes();

}