Httpclient gzip 乱码问题解决

最新推荐文章于 2024-07-09 14:42:08 发布
最新推荐文章于 2024-07-09 14:42:08 发布
阅读量2.3k 收藏 2
点赞数
分类专栏： java # 服务器配置、网络相关 文章标签： Httpclient gzip 乱码问题解决
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sxzlc/article/details/103439160
版权

■出现问题的原因推测

被反爬了,缺少了cookie,你请求出来的信息就是运行一段js,

生成cookie,看到args1了么,这个是密钥,下面的也不是编码的,就是js混淆的问题

防爬网站需要携带一些基础http头模拟成浏览器登录

https://www.jianshu.com/p/401a25134b89

 

■前言

以下代码运行的返回值

■代码

package com.sxz.timecontroal;
 
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.URLDecoder;
import java.util.zip.GZIPInputStream;

import org.apache.http.Header;
import org.apache.http.HttpResponse;
import org.apache.http.HttpStatus;
import org.apache.http.client.ClientProtocolException;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.DefaultHttpClient;
import org.apache.http.util.EntityUtils;
 
 
public class CheckTimeWithNet {
 
 
    static final String LOGINURL     = "https://blog.csdn.net/sxzlc/article/list/3";
 
    public static void main(final String[] args) {
 
        final DefaultHttpClient httpclient = new DefaultHttpClient();
 
        final HttpGet httpGet = new HttpGet(LOGINURL);
        HttpResponse response = null;
 
        try {
            httpGet.addHeader("Accept-Encoding", "gzip, deflate"); 
            response = httpclient.execute(httpGet); 
        } catch (final ClientProtocolException cpException) {
        } catch (final IOException ioException) {
        }
 
        // verify response is HTTP OK
        final int statusCode = response.getStatusLine().getStatusCode();
        if (statusCode != HttpStatus.SC_OK) {
            System.out.println("Error authenticating to Force.com: "+statusCode);
            return;
        }
 
        System.out.println("---------------------Status code Info Start---------------------");
        System.out.println(response.getStatusLine());
        System.out.println("---------------------Status code Info end  ---------------------");
        System.out.println("---------------------Head Info Start---------------------");
        final Header[] hs = response.getAllHeaders();
        for(final Header h:hs){
         System.out.println(h.getName() + ":" + h.getValue());
        }
        System.out.println("---------------------Head Info End  ---------------------");
 
        String getResult = null;
        try {
            // response.setEntity(new GzipDecompressingEntity(response.getEntity())); 
            // getResult = EntityUtils.toString(response.getEntity(),"UTF-8");
            getResult = getStringFromResponseUzip(response);
        } catch (final Exception ioException) {
            // Handle system IO exception
        }
		System.out.println(getResult);
 
    }
 
    public static String getStringFromResponseUzip(final HttpResponse response) throws Exception {
        if (response == null) {
            return null;
        }
        String responseText = "";
        //InputStream in = response.getEntity().getContent();
        final InputStream in = response.getEntity().getContent();
        final Header[] headers = response.getHeaders("Content-Encoding");
        for(final Header h : headers){
            System.out.println(h.getValue());
            if(h.getValue().indexOf("gzip") > -1){
                //For GZip response
                try{
                    final GZIPInputStream gzin = new GZIPInputStream(in);
                    final InputStreamReader isr = new InputStreamReader(gzin,"UTF-8");
                    responseText = getStringFromStream(isr);
                    //responseText = URLDecoder.decode(responseText, "utf-8");
                }catch (final IOException exception){
                    exception.printStackTrace();
                }
                return responseText;
            }
        }
        responseText = EntityUtils.toString(response.getEntity(),"utf-8");
        return responseText;
    }
 
    public static String getStringFromStream(final InputStreamReader isr) throws Exception{
        final BufferedReader br = new BufferedReader(isr);
        final StringBuilder sb = new StringBuilder();
        String tmp;
        while((tmp = br.readLine())!=null){
            sb.append(tmp);
            sb.append("\r\n");
        }
        br.close();
        isr.close();
        return sb.toString();
    }
}

■运行结果

---------------------Status code Info Start---------------------
HTTP/1.1 200 OK
---------------------Status code Info end  ---------------------
---------------------Head Info Start---------------------
Server:Tengine
Date:Sat, 07 Dec 2019 12:20:38 GMT
Content-Type:text/html; charset=utf-8
Transfer-Encoding:chunked
Connection:keep-alive
Set-Cookie:acw_tc=2760820215757212385795097e52a909ebbcda96b20e30f4c216c0bfbc89e6;path=/;HttpOnly;Max-Age=2678401
Content-Encoding:gzip
cache-control:no-cache, no-store
Pragma:no-cache
Strict-Transport-Security:max-age=86400
---------------------Head Info End  ---------------------
gzip
<html><script>
var arg1='70EBF8B68AD7946E52DB795B887AEDFC88D2C6E3';
var _0x4818=['\x63\x73\x4b\x48\x77\x71\x4d\x49',

。。。

();try{return!!window['\x61\x64\x64\x45\x76\x65\x6e\x74\x4c\x69\x73\x74\x65\x6e\x65\x72'];}catch(_0x35538d){return![];}}()){document[_0x55f3('0x33', '\x56\x25\x59\x52')](_0x55f3('0x34', '\x79\x41\x70\x7a'),l,![]);}else{document[_0x55f3('0x36', '\x79\x41\x70\x7a')](_0x55f3('0x37', '\x4c\x24\x28\x44'),l);}_0x4db1c();setInterval(function(){_0x4db1c();},0xfa0);

function setCookie(name,value){var expiredate=new Date();expiredate.setTime(expiredate.getTime()+(3600*1000));document.cookie=name+"="+value+";expires="+expiredate.toGMTString()+";max-age=3600;path=/";}
function reload(x) {setCookie("acw_sc__v2", x);document.location.reload();}
</script></html>

■后续

解压后为16进制代码，有待解决。。。

\x65 z

这是 URLENCODE造成的，使用URLDECODE解决

感谢，[gybao]大神的帮助

https://bbs.csdn.net/topics/395274030

但是，没有使用URLDECODE，之前的代码，在运行一下，竟然直接成功了。

但是，我之前是怎么跑出这种效果的，原因不明。。。　推测问题的原因在下面记述

 

■再次修改后的代码

对于目前最新代码的说明

当能进入到下面79行的分支中时，不论有没有85行都不会出现乱码问题。

 

代码

package com.sxz.timecontroal;
 
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.URLDecoder;
import java.util.zip.GZIPInputStream;

import org.apache.http.Header;
import org.apache.http.HttpResponse;
import org.apache.http.HttpStatus;
import org.apache.http.client.ClientProtocolException;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.DefaultHttpClient;
import org.apache.http.util.EntityUtils;
 
 
public class CheckTimeWithNet {
 
 
    //static final String LOGINURL     = "https://blog.csdn.net/sxzlc?orderby=ViewCount";
    static final String LOGINURL     = "https://blog.csdn.net/sxzlc/article/list/2?orderby=ViewCount";
 
    
    public static void main(final String[] args) {
 
        final DefaultHttpClient httpclient = new DefaultHttpClient();
 
        final HttpGet httpGet = new HttpGet(LOGINURL);
        HttpResponse response = null;
 
        try {
            httpGet.addHeader("Accept-Encoding", "gzip, deflate"); 
            response = httpclient.execute(httpGet); 
        } catch (final ClientProtocolException cpException) {
        } catch (final IOException ioException) {
        }
 
        // verify response is HTTP OK
        final int statusCode = response.getStatusLine().getStatusCode();
        if (statusCode != HttpStatus.SC_OK) {
            System.out.println("Error authenticating to Force.com: "+statusCode);
            return;
        }
 
        System.out.println("---------------------Status code Info Start---------------------");
        System.out.println(response.getStatusLine());
        System.out.println("---------------------Status code Info end  ---------------------");
        System.out.println("---------------------Head Info Start---------------------");
        final Header[] hs = response.getAllHeaders();
        for(final Header h:hs){
         System.out.println(h.getName() + ":" + h.getValue());
        }
        System.out.println("---------------------Head Info End  ---------------------");
 
        String getResult = null;
        try {
            // response.setEntity(new GzipDecompressingEntity(response.getEntity())); 
            // getResult = EntityUtils.toString(response.getEntity(),"UTF-8");
            getResult = getStringFromResponseUzip(response);
        } catch (final Exception ioException) {
            // Handle system IO exception
        }
		System.out.println(getResult);
 
    }
 
    public static String getStringFromResponseUzip(final HttpResponse response) throws Exception {
        if (response == null) {
            return null;
        }
        String responseText = "";
        //InputStream in = response.getEntity().getContent();
        final InputStream in = response.getEntity().getContent();
        final Header[] headers = response.getHeaders("Content-Encoding");
        for(final Header h : headers){
            System.out.println(h.getValue());
            if(h.getValue().indexOf("gzip") > -1){
                //For GZip response
                try{
                    final GZIPInputStream gzin = new GZIPInputStream(in);
                    final InputStreamReader isr = new InputStreamReader(gzin,"UTF-8");
                    responseText = getStringFromStream(isr);
                    responseText = URLDecoder.decode(responseText, "UTF-8");
                }catch (final IOException exception){
                    exception.printStackTrace();
                }
                System.out.println("---------------------is gzip---------------------");
                return responseText;
            }
        }
        System.out.println("---------------------is not gzip---------------------");
        responseText = EntityUtils.toString(response.getEntity(),"utf-8");
        return responseText;
    }
 
    public static String getStringFromStream(final InputStreamReader isr) throws Exception{
        final BufferedReader br = new BufferedReader(isr);
        final StringBuilder sb = new StringBuilder();
        String tmp;
        while((tmp = br.readLine())!=null){
            sb.append(tmp);
            sb.append("\r\n");
        }
        br.close();
        isr.close();
        return sb.toString();
    }
}

以上代码运行后的结果

如果Get不设定gzip是，

---

推测出现问题的原因：

-------------------------------------------------------

■原因推测

还是网站那边做了什么特殊的处理

上午之所以好用，是因为网站那边返回的结果没有进行 gzip压缩，

而下午请求同样的地址，经过了gzip压缩，所以在解析处理的时候，无法正常解析。

■现象1

下午再次同样的运行代码，又出现了乱码的问题，

加上DECODE也没有用（以下88，87行），估计解码时出现问题，直接返回NULL了

现象2

上午再cmd 窗口中，使用CURL 上面的地址

可以返回页面的HTML，下午就不行了，返回效果如下。

■关于URLEncode的确认

上面的乱码抽取了一部分，确定是URL编码，但是在解码全部字符串的时候，返回值为NULL

■补充说明

而且，感觉乱码是，返回的信息，和上午返回所有的页面HTML代码相比较，少了很多！

-------------------------------------------------------

 

■后续（结果说明1）

关于一会儿是 gzip， 一会儿不是，

原因推测是，因为负载平衡，每次访问的服务器不一样。

基于 Nginx 的两个版本（Openresty和Tengine）

・gzip的server信息 Tengine

------------------------------------

------------------------------------

 

・不是gzip时的server信息

------------------------------------

 TODO

------------------------------------

----

---

 

 

sun0322
关注
专栏目录
HttpClient自动处理Gzip,Deflate压缩
急速虫子
07-28 1万+
在4.4版本之后通过RequestConfig创建的httpclient能够自动处理压缩数据 如下RequestConfig.class源码 /** * Determines whether compressed entities should be decompressed automatically. * * Default: {@code true}
项目对接使用httpclient和json传输中文乱码问题解决
不想开车的老司机的博客
01-02 679
最近对俩个项目进行对接，传输的json数据中中文显示是问号，在网上查了好多资料都不能解决我的问题，简直头大。有人说俩边的编码不一致，我设置为一致后仍然乱码。尝试了gzip方法也不行。修改了tomcat编码为utf-8仍然不行。添加了httppost的各种请求头信息仍然不行。最后采用了Unicode转码终于不乱码了。有这种问题的可以试试转码解码。 中文转unicode码： public static...
WebClient 支持 gzip, deflate
weixin_34357962的博客
12-28 263
低调偷偷的下别人数据 发现下出来乱码…   用F12看看请求，原来人家是用了gzip压缩的…   试着自己加个Headingwc.Headers.Add("Accept-Encoding", "gzip, deflate");   发现乱码依旧…   查查MSDN原来要设置HttpWebRequest.AutomaticDecompression http://msdn.microso...
java HttpClient 请求返回结果乱码
最新发布
m0_72642319的博客
07-09 955
解决 java HttpClient 请求返回结果乱码
客户端HttpClient处理 Servlet Gzip
weixin_34367845的博客
05-05 128
　　服务端采用gzip对文本内容进行压缩处理，客户端使用HttpClient获取数据并进行gzip解压缩。 一： 服务端 public class GzipTestServlet extends HttpServlet { protected void processRequest(HttpServletRequest request, HttpServletResponse...
servlet gzip 中文乱码
yuanlanjun
12-06 299
本人编码格式一律UTF-8 但是，在使用Gzip压缩后的xml中文总是乱码，以下是解决方法： 关键在于getBytes的时候，指定编码 resp.setHeader("Cache-Control","no-cache"); resp.setContentType("text/xml; charset=UTF-8"); String backxml = "&lt;root&gt;中...
HttpCLient实现对被GZip压缩过的Response进行解压
WHATIFSO
07-20 1907
HttpCLient实现对被GZip压缩过的Response进行解压 发送请求(要求服务端对response进行GZip压缩)： Java代码   import org.apache.commons.httpclient.HttpClient;   import org.apache.commons.httpclient.HttpStatus;     
httpclient返回值乱码
09-21
如果以上方法仍然无法解决问题，可能还需要检查服务器端的编码设置是否正确。 ### 回答2： 当使用HttpClient发送请求时，可能会遇到返回值乱码的情况。这通常是由于服务器返回的数据编码与我们所期望的不一致导致...
java的HttpClient请求,返回的数据部分乱码,解决办法
05-25
出现乱码的原因可能有很多，这里列举几种可能的解决办法： 1. 设置正确的字符编码 在使用HttpClient发送请求时，需要设置正确的字符编码，否则在接收响应时可能会出现乱码。可以通过设置请求头中的Content-Type来...
记一次 OpenFeign 线上乱码问题
m0_38017860的博客
05-26 2370
问题描述 前两天，开发同学发现线上某服务往第三方 API 发出的请求（这个请求是用 openFeign 包装过的），其响应有时为乱码 后来经过测试能够稳定复现问题，开发同学通过分析发现，只要请求的 header 中有 “Accept-Encoding” 且值为 “gzip, deflate, br”，那么响应回来的数据必是乱码。 通过这个现象我们得出结论，即给请求头加了压缩标识，数据也响应回来了，但是并没有解压缩。 知道了原因，那么解决思路无非有二： 不压缩了 加上解压缩实现 解决方案 第一种思路实现
RestTemplate调用乱码解决(基于Springboot框架，非中文乱码)
qq_41782124的博客
08-07 1582
restTemplate调用乱码解决 我调用的是这个天气查询api http://wthrcdn.etouch.cn/weather_mini 最开始调用时，总是出现下图所示的乱码： 搜索了网上的资料后，我认为是由于没有进行utf-8转码造成的，于是在config文件中添加了如下配置： @Configuration public class RestConfiguration { @Bean public RestTemplate restTemplate() {
Content-encoding: gzip 请求接口响应结果带有乱码解决办法
记录工作开发中遇到的技术难点，方便自己查看，也希望可以帮助到他人...
07-02 1791
Content-encoding: gzip 请求接口响应结果带有乱码解决办法。
restemplate请求乱码之content-encoding=“gzip“
深入Java世界：探索编程之美与技术深度
03-28 921
使用请求文本数据接口，发现解码后的字符串是乱码。此时除了编码格式问题外就可以怀疑是不是服务器响应了压缩后的数据。解决这个问题，先尝试移除请求头，告诉服务器，客户端不需要压缩响应体。如果服务器还是响应压缩后的数据，尝试读取服务器的头，根据服务器的压缩编码，自己再进行解压缩。
linux使用gzip出现乱码,Curl 采集乱码 gzip 原因及解决方案 utf-8
weixin_31600305的博客
05-11 1600
用curl获取一个经过gzip压缩后的网页时返回乱码原因大体就是服务器返回的Content-Encoding的值和网页的编码不同，造成curl解码出问题，直接将gzip或deflate编码的文件下载了，所以看起来是乱码了。Content-Encoding: gzip读取前几个字节为:1F 8B 08 ，其中1F 8B表明为gzip压缩，而08表示为deflate压缩。这样实际编码和通过Conten...
http client对post内容gzip压缩和server端解压接收
kyfxing的博客
10-29 839
client端代码： public void sendHttp(String url, String message) { if (StringUtils.isBlank(message)) { LOGGER.info("a blank message, return."); return;...
httpClient4发送gzip的post数据，servlet接收并解压
赶路人儿
11-15 6429
1、gzipUtils工具类： package nc.edu.nuc.utils; import java.io.ByteArrayInputStream; import java.io.ByteArrayOutputStream; import java.io.IOException; import java.util.zip.GZIPInputStream; import java.uti
httpclient处理请求时进行gzip压缩和解压gizp响应结果
Bab的博客
12-16 3673
最近开发的平台要求转发请求前判断如果请求头中带了Content-Encoding: gzip的情况下需先对请求参数进行gzip操作，网上找了好些时间也没用合适的代码可使用，看了一下源码后找到了以下解决方案可用在此记录一下。 发起请求前压缩关键伪代码： HttpEntityEnclosingRequestBase request = reqMethod.equals(HTTPConstants.POST) ? new HttpPost(uri) : new HttpPut(uri); request.se.
HTTP Post请求响应报文乱码（Accept-Encoding：gzip）
zhangwenchao0814的博客
11-16 5281
今天在发送HTTP Post请求时，响应报文有时正常，有时乱码，也不是中文乱码，响应报文整个乱码， 最开始以为是InputStreamReader读取的时候字符编码导致，然后使用utf-8： InputStreamReader isr = new InputStreamReader(is, "utf-8"); 但是还是乱码,然后又想到可能是请求头的字符编码不正确导致，可是请求头也是utf-8,也不是这个 问题导致的，经过抓包发现，响应报文体乱码的请求头比不乱码的报文请求头多个属性：Acc..
Android Accept-Encoding为gzip,deflate Http请求返回的结果为乱码
bjxiaxueliang的CODING技术小馆
03-29 8308
最近项目中遇到这样一个坑： 某一接口的HttpUrlConnection的请求返回结果为乱码，但PC浏览器直接打开是正常的。 效果图如下： 经过查阅代码发现，该接口的对应Header中有这么一段代码：headers.put("Accept-Encoding", "gzip,deflate");那么Accept-Encoding为gzip,deflate代表什么意思呢？Accept-Encodi
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值