httpclient 4.0读到的网页乱码问题

用了httpclient写了一个抓取网页源码的代码，抓取的sina博文很正常，但是163的确全是乱码，折腾了一天终于搞定，结果真是让人哭笑不得。

 

一开始怀疑字符编码设置的不对，分别设了utf,gb2312,gbk都没有作用，在看了一下乱码，里面没有一个字符能认得出，如果是字符编码的问题，起码英文应该不会是乱码吧。

 

然后就觉得是不是httpclient的问题，查了很多资料都没有答案，而且网上httpclient4.0的也很少，大部分都是3。0的代码。

 

只好又试着使用java.net包里提供的方法简单的试了一下，结果这个小程序得到的网页没有乱码。那就应该是httpclient哪里没有设置好吧。

 

又在网上找了个httpfox抓包下来分析，比较来比较去，终于给我发现一个不一样的地方，

只有在请求163网址时，服务器头信息有这么一行：Content-Encoding    gzip，原来服务器返回的是压缩后的数据，难怪是乱码。

 

查了相关资料后才明白 “服务器不会为你发送压缩数据，除非你告诉服务器你可以处理压缩数据“，看了看程序果然有个地方设置成了httppost.setHeader("Accept-Encoding","gzip,deflate"); 去掉之后，成功读出数据。

 

看来要对这些http协议还是要知道才行，不然问题出在哪里都不清楚。