关于ETag和Gzip的基本认知和使用

题引：为了提升用户体验，同时减轻服务器压力和降低网络带宽，技术总监和技术经理决定对APP做缓存和压缩处理，包括图片的三级缓存（这里不讨论）和网络请求的数据缓存和压缩

• ETag的基本认识
• ETag的基本使用
• Gzip的基本认识
• Gzip的基本使用
• 判读服务器是否返回压缩数据的方式
• 服务端Nginx配置ETag和Gzip冲突的解决方案
• Refer

一、ETag的基本认识

以下四篇文章讲解的都是ETag的基本知识：

1. 客户端HTTP协议缓存的研究
2. If-Modified-Since & If-None-Match
3. REST笔记(五):你应该知道的HTTP头——ETag
4. http协议-缓存统制:etag If-None-Match / Last-Modified If-Modified-Since

二、ETag的基本使用

ETag的使用就Android客户端来说，大概有两个步骤：

1. Header添加If-None-Match/ETag信息
2. 执行请求返回响应体后做相应的缓存处理

三、Gzip的基本认识

HTTP协议上的GZIP编码是一种用来改进WEB应用程序性能的技术。大流量的WEB站点常常使用GZIP压缩技术来减少文件大小，减少文件大小有两个明显的好处，一是可以减少存储空间，二是通过网络传输文件时，可以减少传输的时间。

四、Gzip的基本使用

Gzip的基本使用就Android客户端来说，大概有两个步骤：

1. Header添加Accept-Encoding属性值为gzip
2. 执行请求返回响应体后做相应的解压处理

附样板代码如下：

1、获取HttpClient

private static DefaultHttpClient getHttpClient() {  
        DefaultHttpClient httpClient = new DefaultHttpClient();  

        // 设置 连接超时时间  
        httpClient.getParams().setParameter(  
                HttpConnectionParams.CONNECTION_TIMEOUT, TIMEOUT_CONNECTION);  
        // 设置 读数据超时时间  
        httpClient.getParams().setParameter(HttpConnectionParams.SO_TIMEOUT,  
                TIMEOUT_SOCKET);  
        // 设置 字符集  
        httpClient.getParams().setParameter("http.protocol.content-charset",  
                UTF_8);  
        return httpClient;  
}  

2、获取HttpPost

private static HttpPost getHttpPost(String url) {  
        HttpPost httpPost = new HttpPost(url);  
        // 设置 请求超时时间  
        httpPost.getParams().setParameter(HttpConnectionParams.SO_TIMEOUT,  
                TIMEOUT_SOCKET);  
        httpPost.setHeader("Connection", "Keep-Alive");  
        httpPost.addHeader("Accept-Encoding", "gzip");  
        return httpPost;  
} 

3、访问网络及解压

public static InputStream http_post_return_byte(String url,  
            Map<String, String> params) throws AppException {  
        DefaultHttpClient httpclient = null;  
        HttpPost post = null;  
        HttpResponse response = null;  
        StringBuilder sb = null;  
        StringEntity stringEntity = null;  
        try {  
            httpclient = getHttpClient();  
            post = getHttpPost(url);  
            sb = new StringBuilder();  
            if (params != null && !params.isEmpty()) {  
                Logger.d("In http_post the url is get here");  
                for (Entry<String, String> entry : params.entrySet()) {  
                    sb.append(entry.getKey())  
                            .append("=")  
                            .append(URLEncoder.encode(entry.getValue(),  
                                    HTTP.UTF_8)).append("&");  
                }  
                sb.deleteCharAt(sb.lastIndexOf("&"));  
                Logger.d("In http_post the url is " + url + " and params is "  
                        + sb.toString());  
                stringEntity = new StringEntity(sb.toString());  
                stringEntity  
                        .setContentType("application/x-www-form-urlencoded");  
                post.setEntity(stringEntity);  
            }  

            response = httpclient.execute(post);  
            int statusCode = response.getStatusLine().getStatusCode();  
            Logger.d("statusCode is " + statusCode);  
            if (statusCode != HttpStatus.SC_OK) {  
                throw AppException.http(statusCode);  
            }  

            InputStream is = response.getEntity().getContent();  

            Header contentEncoding = response  
                    .getFirstHeader("Content-Encoding");  
            if (contentEncoding != null  
                    && contentEncoding.getValue().equalsIgnoreCase("gzip")) {  
                is = new GZIPInputStream(new BufferedInputStream(is));  
            }  
            return is;  

        } catch (ClientProtocolException e) {  
            e.printStackTrace();  
            throw AppException.http(e);  
        } catch (IOException e) {  
            e.printStackTrace();  
            throw AppException.network(e);  
        } finally {  

            /* 
             * if (!post.isAborted()) { 
             *  
             * post.abort(); } httpclient = null; 
             */  

        }  

}  

五、判断网络返回的数据是否经过压缩

1. 从Http 技术细节上讲，request头中如果有 “Accept-Encoding”,”gzip”，response中就有返回头”Content-Encoding”:”gzip”，因此可以通过判读响应体是否有Content-Encoding属性，并且其值为gzip。
2. gzip流前两个字节是0x1f8b，因此可通过判断输入流的前两个字节是否为0x1f8b。

附具体代码如下：

private String getJsonStringFromGZIP(HttpResponse response) {
        String jsonString = null;
        try {
            InputStream is = response.getEntity().getContent();
            BufferedInputStream bis = new BufferedInputStream(is);
            bis.mark(2);
            // 取前两个字节
            byte[] header = new byte[2];
            int result = bis.read(header);
            // reset输入流到开始位置
            bis.reset();
            // 判断是否是GZIP格式
            int headerData = getShort(header);
            // Gzip 流 的前两个字节是 0x1f8b
            if (result != -1 && headerData == 0x1f8b) {
                LogUtil.d("HttpTask", " use GZIPInputStream  ");
                is = new GZIPInputStream(bis);
            } else {
                LogUtil.d("HttpTask", " not use GZIPInputStream");
                is = bis;
            }
            InputStreamReader reader = new InputStreamReader(is, "utf-8");
            char[] data = new char[100];
            int readSize;
            StringBuffer sb = new StringBuffer();
            while ((readSize = reader.read(data)) > 0) {
                sb.append(data, 0, readSize);
            }
            jsonString = sb.toString();
            bis.close();
            reader.close();
        } catch (Exception e) {
            LogUtil.e("HttpTask", e.toString(),e);
        }

        LogUtil.d("HttpTask", "getJsonStringFromGZIP net output : " + jsonString );
        return jsonString;
    }

    private int getShort(byte[] data) {
        return (int)((data[0]<<8) | data[1]&0xFF);
    }

六、服务端Nginx配置ETag和Gzip冲突的解决方案

以下三篇文章都涉及到ETag和Gzip冲突的解决方案：

1. nginx开启gzip模块后ETAG丢失
2. nginx - missing etag when gzip is used
3. Nginx如何开启ETag，提高访问速度

七、Refer

1. Android中使用gzip传递数据
2. Android开发中网络请求的压缩 ── GZip的使用