httpclient解析gzip网页

最新推荐文章于 2021-12-16 11:54:54 发布

l_mai

最新推荐文章于 2021-12-16 11:54:54 发布

阅读量127

点赞数

分类专栏：学习文章标签： c# java

本文链接：https://blog.csdn.net/l_mai/article/details/84248367

版权

学习专栏收录该内容

90 篇文章 0 订阅

订阅专栏

转自http://www.cnblogs.com/yesun/archive/2008/10/31/1323432.html
请求时加上：getHC.setRequestHeader("Accept-Encoding","gzip, deflate");
解析时

String acceptEncoding = "";
if(getHC.getResponseHeader("Content-Encoding")!=null)
acceptEncoding = getHC.getResponseHeader("Content-Encoding").getValue();
StringBuffer sb =new StringBuffer();
log.debug("acceptEncoding:"+acceptEncoding);
if(acceptEncoding.toLowerCase().indexOf("gzip") > -1)
{
//建立gzip解压工作流
InputStream is = getHC.getResponseBodyAsStream();
GZIPInputStream gzin = new GZIPInputStream(is);
InputStreamReader isr = new InputStreamReader(gzin, charset); // 设置读取流的编码格式，自定义编码
java.io.BufferedReader br = new java.io.BufferedReader(isr);
String tempbf;
while((tempbf=br.readLine())!=null){
sb.append(tempbf);
sb.append("\r\n");
}
isr.close();
gzin.close();
}
else
{
InputStreamReader isr = new InputStreamReader(getHC.getResponseBodyAsStream(), charset); // 设置读取流的编码格式，自定义编码
java.io.BufferedReader br = new java.io.BufferedReader(isr);
String tempbf;
while((tempbf=br.readLine())!=null){
sb.append(tempbf);
sb.append("\r\n");
}
isr.close();
}
getHC.abort();
getHC.releaseConnection();
((SimpleHttpConnectionManager)httpClient.getHttpConnectionManager()).shutdown();