---恢复内容开始---
1、HttpClient简介
HttpClient相比传统JDK自带的URLConnection，增加了易用性和灵活性，它不仅使客户端发送Http请求变得容易，而且也方便开发人员测试接口（基于Http协议的），提高了开发的效率，也方便提高代码的健壮性。因此熟练掌握HttpClient是很重要的必修内容，掌握HttpClient后，相信对于Http协议的了解会更加深入。
org.apache.commons.httpclient.HttpClient与org.apache.http.client.HttpClient的区别Commons的HttpClient项目现在是生命的尽头，不再被开发, 已被Apache HttpComponents项目HttpClient和HttpCore 模组取代，提供更好的性能和更大的灵活性。
2、HTTP的Keep-Alive
在前面的博客中http协议中，可以看到http的请求头中可以设置connection可以设置为Keep-Alive，在HTTP/1.1使用Keep-Alive为默认值，如果需要关闭则需要手动关闭。
在HTTP 1.0以前，每个http请求都要求打开一个TCP socket连接，并且使用一次之后就断开这个TCP连接，这会导致频繁地创建和销毁TCP。HTTP 1.1通过使用keep-alive可以改善这种状态，即在一次TCP连接中可以持续发送多份数据而不会断开连接，以此提高性能和提高http服务器的吞吐率(更少的tcp连接意味着更少的系统内核调用,socket的accept()和close()调用)。
2.1 HTTP的Keep-Alive
当保持长连接时，如何判断一次请求已经完成？
Content-Length
Content-Length表示实体内容的长度。浏览器通过这个字段来判断当前请求的数据是否已经全部接收。
所以，当浏览器请求的是一个静态资源时，即服务器能明确知道返回内容的长度时，可以设置Content-Length来控制请求的结束。但当服务器并不知道请求结果的长度时，如一个动态的页面或者数据，Content-Length就无法解决上面的问题，这个时候就需要用到Transfer-Encoding字段。
Transfer-Encoding
Transfer-Encoding是指传输编码，在上面的问题中，当服务端无法知道实体内容的长度时，就可以通过指定Transfer-Encoding: chunked来告知浏览器当前的编码是将数据分成一块一块传递的。当然, 还可以指定Transfer-Encoding: gzip, chunked表明实体内容不仅是gzip压缩的，还是分块传递的。最后，当浏览器接收到一个长度为0的chunked时， 知道当前请求内容已全部接收。
Keep-Alive timeout：
Httpd守护进程，一般都提供了keep-alive timeout时间设置参数。比如nginx的keepalive_timeout，和Apache的KeepAliveTimeout。这个keepalive_timout时间值意味着：一个http产生的tcp连接在传送完最后一个响应后，还需要hold住keepalive_timeout秒后，才开始关闭这个连接。
当httpd守护进程发送完一个响应后，理应马上主动关闭相应的tcp连接，设置 keepalive_timeout后，httpd守护进程会想说：”再等等吧，看看浏览器还有没有请求过来”，这一等，便是keepalive_timeout时间。如果守护进程在这个等待的时间里，一直没有收到浏览器发过来http请求，则关闭这个http连接。
2.2 Tcp的Keep-Alive
tcp链接建立之后，如果应用程序或者上层协议一直不发送数据，或者隔很长时间才发送一次数据，当链接很久没有数据报文传输时如何去确定对方还在线，到底是掉线了还是确实没有数据传输，链接还需不需要保持，这种情况在TCP协议设计中是需要考虑到的。
TCP协议通过一种巧妙的方式去解决这个问题，当超过一段时间之后，TCP自动发送一个数据为空的报文给对方，如果对方回应了这个报文，说明对方还在线，链接可以继续保持，如果对方没有报文返回，并且重试了多次之后则认为链接丢失，没有必要保持链接。
2.3 http keep-alive与tcp keep-alive
HTTP位于网络协议栈的应用层，而TCP位于网络协议栈的传输层，两者的KEEP-ALIVE虽然名称相同，但是作用不同。http keep-alive是为了让tcp活得更久一点，以便在同一个连接上传送多个http，提高socket的效率。而tcp keep-alive是TCP的一种检测TCP连接状况的保鲜机制。t检测对端是否依然存活。
2.4 开启Keep-Alive的优缺点
优点：Keep-Alive模式更加高效，因为避免了连接建立和释放的开销。
缺点：长时间的Tcp连接容易导致系统资源无效占用，浪费系统资源。
所以对于需要频繁发送HTTP请求的应用，需要在客户端开启keep-alive,使用HTTP长连接。
3 HttpClient设置
httpClient = HttpClients.custom() //连接池配置 .setConnectionManager(poolingHttpClientConnectionManager) //requestConfig配置 .setDefaultRequestConfig(requestConfig) .disableCookieManagement() .disableConnectionState() .disableAuthCaching() //默认socketConfig配置 .setDefaultSocketConfig(socketConfig) //默认头配置 .setDefaultHeaders(defaultHeaders) //重试handle .setRetryHandler(httpRequestRetryHandler) .build();
3.1 PoolingHttpClientConnectionManager连接池设置
两个主机建立连接的过程是很复杂的一个过程，涉及到多个数据包的交换，并且也很耗时间。Http连接需要的三次握手开销很大，这一开销对于比较小的http消息来说更大。但是如果我们直接使用已经建立好的http连接，这样花费就比较小，吞吐率更大。在高并发大量的请求网络的时候，使用连接池能提升吞吐量。
PoolingHttpClientConnectionManager cm = new PoolingHttpClientConnectionManager(registry); // 设置整个连接池的最大连接数 cm.setMaxTotal(maxTotal); // 设置每个route默认的最大连接数 cm.setDefaultMaxPerRoute(maxPerRoute); HttpHost httpHost = new HttpHost(hostname, port); // 设置某个route的最大连接数，优先于defaultMaxPerRoute。 cm.setMaxPerRoute(new HttpRoute(httpHost), maxRoute); //该方法关闭超过连接保持时间的连接，并从池中移除。 cm.closeExpiredConnections(); //该方法关闭空闲时间超过timeout的连接，空闲时间从交还给连接池时开始，不管是否已过期，超过空闲时间则关闭。 cm.closeIdleConnections(timeout,tunit);
connectionConfig配置
//消息约束 MessageConstraints messageConstraints = MessageConstraints.custom() .setMaxHeaderCount(200) .setMaxLineLength(2000) .build(); //Http connection相关配置 ConnectionConfig connectionConfig = ConnectionConfig.custom() .setMalformedInputAction(CodingErrorAction.IGNORE) .setUnmappableInputAction(CodingErrorAction.IGNORE) .setCharset(Consts.UTF_8) .setMessageConstraints(messageConstraints) .build(); //一般不修改HTTP connection相关配置，故不设置 //cm.setDefaultConnectionConfig(connectionConfig); //cm.setConnectionConfig(new HttpHost("somehost", 80), ConnectionConfig.DEFAULT);
具体源码解析可参考：https://www.cnblogs.com/shoren/p/httpclient-leaseConnection.html
3.2 RequestConfig设置
主要用于获取和配置一些外部的网络环境
RequestConfig requestConfig = RequestConfig.custom() //设置从connectManager获取Connection 超时时间 .setConnectionRequestTimeout(1000) //设置连接超时时间 .setConnectTimeout(10000) //请求获取数据的超时时间 .setSocketTimeout(10000) //确定是否应自动处理身份验证 .setAuthenticationEnabled(true) //确定循环重定向(重定向到相同位置)是否应该重定向 .setCircularRedirectsAllowed(false) //重定向的最大数目。对重定向次数的限制是为了防止无限循环 .setMaxRedirects(5) //确定是否应自动处理重定向 .setRedirectsEnabled(true) //确定是否应拒绝相对重定向。HTTP规范要求位置值是一个绝对URI .setRelativeRedirectsAllowed(true) //确定是否应自动解压缩压缩实体 .setContentCompressionEnabled(true) //确定用于HTTP状态管理的cookie规范的名称 .setCookieSpec("") //返回用于请求执行的本地地址。在具有多个网络接口的计算机上，此参数可用于选择其中的网络接口连接产生。 .setLocalAddress() //代理配置 .setProxy() //在使用代理主机进行身份验证时，确定支持的身份验证方案的优先顺序。 .setProxyPreferredAuthSchemes() //在使用目标主机进行身份验证时，确定受支持的身份验证模式的首选项顺序 .setTargetPreferredAuthSchemes() .build();
3.3 SocketConfig配置
SocketConfig.custom() //开启监视TCP连接是否有效 .setSoKeepAlive(false) //是否可以在一个进程关闭Socket后，即使它还没有释放端口，其它进程还可以立即重用端口 .setSoReuseAddress(true) //接收数据的等待超时时间，单位ms .setSoTimeout(10000) //是否立即发送数据，设置为true会关闭Socket缓冲，默认为false .setTcpNoDelay(false) .build();
3.4 defaultHeader配置
Collection<Header> defaultHeaders = new ArrayList<>(); defaultHeaders.add(new BasicHeader(HttpHeaders.ACCEPT_ENCODING, "gzip, deflate")); defaultHeaders.add(new BasicHeader(HttpHeaders.ACCEPT_LANGUAGE, "zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3")); defaultHeaders.add(new BasicHeader(HttpHeaders.ACCEPT, "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8")); defaultHeaders.add(new BasicHeader(HttpHeaders.CONNECTION, "keep-alive"));
3.5 HttpRequestRetryHandler配置
//禁用重试(参数：retryCount、requestSentRetryEnabled) HttpRequestRetryHandler requestRetryHandler = new DefaultHttpRequestRetryHandler(0, false); //自定义重试策略 httpRequestRetryHandler = new HttpRequestRetryHandler() { public boolean retryRequest(IOException exception,int executionCount, HttpContext context) { if (executionCount >= 3) {// 如果已经重试了3次，就放弃 return false; } if (exception instanceof NoHttpResponseException) {// 如果服务器丢掉了连接，那么就重试 return true; } if (exception instanceof SSLHandshakeException) {// 不要重试SSL握手异常 return false; } if (exception instanceof InterruptedIOException) {// 超时 return false; } if (exception instanceof UnknownHostException) {// 目标服务器不可达 return false; } if (exception instanceof ConnectTimeoutException) {// 连接被拒绝 return false; } if (exception instanceof SSLException) {// SSL握手异常 return false; } return false; }
}
其实我们在实际使用中也是使用默认的 socketConfig 和 connectionConfig。在实际应用中连接数相关配置（如maxTotal、maxPerRoute），还有请求相关的超时时间设置（如connectionTimeout、socketTimeout、connectionRequestTimeout）是比较重要的。
具体连接池原理参考文档：
httpClient 4.3.x configuration 官方样例
使用httpclient必须知道的参数设置及代码写法、存在的风险
---恢复内容结束---
3146
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
