Heritrix解决中文乱码

最近，突发奇想，想把工作中遇到的问题和大家分享出来。自己没有牛到贡献一个开源项目，但是，有多少就贡献多少吧。

废话不多说。第一次分享的是Heritrix的乱码解决。

根据官方文档或者是一些blog，可以很轻松的配出一个可以运行的heritrix，基于web的管理页面也十分简单。但是中文乱码问题却很少有提及，就算提及，也是一句话，和没说一样。

目前Google、Baidu上能搜到的，大多是Heritrix 1.X的内容，heritrix 3.x的比较少，而这两个版本的结构貌似差的挺大，所以在Heritrix3上遇到的很多问题就得靠自己了。

 

heritrx 3 首先会去根据服务器返回的Content-type去获得编码。

 例如上图的光环中的内容。这个时候往往是没有乱码的，挺和谐。

但是，如果获得不到就认为是ISO-8859-1（这个值是可配的）。例如下图。可实际上它是gb2312的。

 

在此我真的想感叹，老外的世界里只有ISO-8859-1吗！

这个时候我们可以根据HTML的meta信息来判断，例如

 

<metahttp-equiv="content-type"content="text/html;charset=utf-8">

 

 我目前还没见过从这个地方获得不到编码的（也有可能是我阅历浅），所以从这个地方拿编码还是比较靠谱的，拿的方法有很多种，我当时借鉴了Jsoup用了正则来获得。至于这段代码，也不在手边，有机会再贴吧，目前仅提供一个思路吧。

也许解决乱码问题还有更好的办法，欢迎留言。
原文参考自web开发网：http://www.software8.co/wzjs/qtyy/3676.html