工作中使用连接池的HttpClient工具类

最新推荐文章于 2022-08-05 15:47:29 发布
最新推荐文章于 2022-08-05 15:47:29 发布
阅读量1.4k 收藏 10
点赞数 1
分类专栏： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_19642249/article/details/103817546
版权

httpclient4.4简单初始化httpclient的方式：

HttpClient httpClient = HttpClientBuilder.create().build();
        ClientHttpRequestFactory requestFactory = new HttpComponentsClientHttpRequestFactory(httpClient);
        restTemplate = new RestTemplate(requestFactory);

上面是没有使用池子进行初始化httpclient，在自己做demo的时候使用这种方式完全没有问题的，但是这种方式建立连接比较的浪费时间和资源，尤其生产环境访问量大，并发数多的情况，如果没有管理这些连接的工具，总是存在不安全的隐患。像一些比较耗资源的中间件连接都是有配置连接池的，例如redis，数据库，线程池等等，都是有相关池子的配置的，功能几乎一样的——为了避免频繁建立连接造成的时间、资源等浪费。

本博客提供了一个使用池子构建httpclient的工具类，该工具类不光对连接池进行了设置，还有其他相关配置，下面这块是核心代码：

public static CloseableHttpClient getHttpClinet() throws Exception {
		CloseableHttpClient httpClient = HttpClients.custom()
				//设置ssl工厂
				.setSSLSocketFactory(sslConnectionSocketFactory)
				//设置连接管理方式-连接池
				.setConnectionManager(poolingHttpClientConnectionManager)
				//设置http请求规则
				.setDefaultRequestConfig(getDefaultRequestConfig())
				//设置keep-Alive
				.setKeepAliveStrategy(getKeepAliveStrategy())
				.build();
		return httpClient;
	}

合理的初始化一个httpClient需要设置4个配置：

  1. 设置ssl工厂，访问https时是必备的，访问http时是不需要的
  2. 设置连接管理方式-连接池(连接方式有很多种：SimpleHttpConnectionManager、MultiThreadedHttpConnectionManager、poolingHttpClientConnectionManager)，本工具类使用poolingHttpClientConnectionManager
  3. 设置keep-Alive超时时间，在高频的情况下这个是有必要的，因为httpclient是要放回池子里的，如果调用的服务端没有设置或者设置过长的keep-alive时间，会把这个未关闭长连接的httpclient返回池子，如果再次使用会报The server ***** failed to respond.的错误。

工具类：
里面的注释很详细，也做了相应的优化 ，可以直接使用

package com.sgcc.base.https;

import java.io.IOException;
import java.security.KeyManagementException;
import java.security.KeyStoreException;
import java.security.NoSuchAlgorithmException;
import java.security.cert.CertificateException;
import java.security.cert.X509Certificate;
import java.util.ArrayList;
import java.util.List;
import java.util.Map;

import org.apache.commons.collections.MapUtils;
import org.apache.http.Consts;
import org.apache.http.HeaderElement;
import org.apache.http.HeaderElementIterator;
import org.apache.http.HeaderIterator;
import org.apache.http.HttpEntity;
import org.apache.http.HttpResponse;
import org.apache.http.HttpStatus;
import org.apache.http.NameValuePair;
import org.apache.http.client.config.RequestConfig;
import org.apache.http.client.entity.UrlEncodedFormEntity;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpPost;
import org.apache.http.client.methods.HttpRequestBase;
import org.apache.http.config.Registry;
import org.apache.http.config.RegistryBuilder;
import org.apache.http.conn.ConnectionKeepAliveStrategy;
import org.apache.http.conn.socket.ConnectionSocketFactory;
import org.apache.http.conn.socket.PlainConnectionSocketFactory;
import org.apache.http.conn.ssl.SSLConnectionSocketFactory;
import org.apache.http.conn.ssl.SSLContextBuilder;
import org.apache.http.conn.ssl.TrustStrategy;
import org.apache.http.entity.StringEntity;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.impl.conn.PoolingHttpClientConnectionManager;
import org.apache.http.message.BasicHeaderElementIterator;
import org.apache.http.message.BasicNameValuePair;
import org.apache.http.protocol.HTTP;
import org.apache.http.protocol.HttpContext;
import org.apache.http.util.EntityUtils;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import com.sgcc.Exception.BusinessException;

/**
 * @Title: HttpsPoolUtil.java
 * @Description: TODO(用一句话描述该文件做什么)
 * @date 2019年12月24日 下午6:09:11
 * @version V1.0
 */
public class HttpsPoolUtil {

	private static Logger log = LoggerFactory.getLogger(HttpsPoolUtil.class);
	private static final String _HTTP = "http";
	private static final String _HTTPS = "https";
	
	//配置连接池获取超时时间
	private static final int CONNECTION_REQUEST_TIMEOUT= 1 * 1000; 
	//配置客户端连接服务器超时时间
    private static final int CONNECT_TIMEOUT =  3 * 1000;
    //配置服务器响应超时时间
    private static final int SOCKET_TIMEOUT = 20 * 1000;
    //默认返回null串
  	private static String EMPTY_STR = "";
	
	private static SSLConnectionSocketFactory sslConnectionSocketFactory = null;
	//连接池管理类
	private static PoolingHttpClientConnectionManager poolingHttpClientConnectionManager = null;
	//管理Https连接的上下文类
	private static SSLContextBuilder sslContextBuilder = null;
	
	static {
		try {
			sslContextBuilder = new SSLContextBuilder().loadTrustMaterial(null, new TrustStrategy() {
				@Override
				public boolean isTrusted(X509Certificate[] x509Certificates, String s) throws CertificateException {
					//忽略http校验
					return true;
				}
			});
			sslConnectionSocketFactory = new SSLConnectionSocketFactory(sslContextBuilder.build(), new String[] { "SSLv3", "TLSv1", "TLSv1.2" }, null, null);
			//注册两种请求形式
			Registry<ConnectionSocketFactory> registryBuilder = RegistryBuilder.<ConnectionSocketFactory>create()
					.register(_HTTP, new PlainConnectionSocketFactory())
					.register(_HTTPS, sslConnectionSocketFactory).build();
			poolingHttpClientConnectionManager = new PoolingHttpClientConnectionManager(registryBuilder);
			//最大连接数
			poolingHttpClientConnectionManager.setMaxTotal(500);
			//最大并发数
			poolingHttpClientConnectionManager.setDefaultMaxPerRoute(100);
		} catch (NoSuchAlgorithmException e) {
			e.printStackTrace();
		} catch (KeyStoreException e) {
			e.printStackTrace();
		} catch (KeyManagementException e) {
			e.printStackTrace();
		}

	}

	/**
	 * @Description: http初始化连接配置
	 * @date 2019年12月25日 下午5:09:17
	 * @param httpRequestBase
	 */
	private static RequestConfig getDefaultRequestConfig() {
		RequestConfig requestConfig = RequestConfig.custom()
				/*
				 * 从连接池中获取连接的超时时间，假设：连接池中已经使用的连接数等于setMaxTotal，新来的线程在等待1*1000
				 * 后超时，错误内容：org.apache.http.conn.ConnectionPoolTimeoutException: Timeout waiting for connection from pool
				 */
				.setConnectionRequestTimeout(CONNECTION_REQUEST_TIMEOUT)
				/*
				 * 这定义了通过网络与服务器建立连接的超时时间。
				 * Httpclient包中通过一个异步线程去创建与服务器的socket连接，这就是该socket连接的超时时间，
				 * 此处设置为2秒。假设：访问一个IP，192.168.10.100，这个IP不存在或者响应太慢，那么将会返回
				 * java.net.SocketTimeoutException: connect timed out
				 */
				.setConnectTimeout(CONNECT_TIMEOUT)
				/*
				 * 指的是连接上一个url，获取response的返回等待时间，假设：url程序中存在阻塞、或者response
				 * 返回的文件内容太大，在指定的时间内没有读完，则出现
				 * java.net.SocketTimeoutException: Read timed out
				 */
				.setSocketTimeout(SOCKET_TIMEOUT)
				.build();
		return requestConfig;
	}

	/**
	 * @Description: http初始化keep-Alive配置
	 * @date 2019年12月25日 下午5:09:17
	 * @param httpRequestBase
	 */
	public static ConnectionKeepAliveStrategy getKeepAliveStrategy(){
		ConnectionKeepAliveStrategy myStrategy = new ConnectionKeepAliveStrategy() {
		    @Override
		    public long getKeepAliveDuration(HttpResponse response, HttpContext context) {
		        HeaderElementIterator it = new BasicHeaderElementIterator
		    (response.headerIterator(HTTP.CONN_KEEP_ALIVE));
		        while (it.hasNext()) {
		            HeaderElement he = it.nextElement();
		            String param = he.getName();
		            String value = he.getValue();
		            if (value != null && param.equalsIgnoreCase
		               ("timeout")) {
		                return Long.parseLong(value) * 1000;
		            }
		        }
		        return 20 * 1000;//如果没有约定，则默认定义时长为20s
		    }
		};
		return myStrategy;
	}
	
	/**
	 * @Description: 从池子中获取获取httpclient连接
	 * @date 2019年12月25日 下午5:12:43
	 * @return
	 * @throws Exception
	 */
	public static CloseableHttpClient getHttpClinet() throws Exception {
		CloseableHttpClient httpClient = HttpClients.custom()
				//设置ssl工厂
				.setSSLSocketFactory(sslConnectionSocketFactory)
				//设置连接管理方式-连接池
				.setConnectionManager(poolingHttpClientConnectionManager)
				//设置http请求规则
				.setDefaultRequestConfig(getDefaultRequestConfig())
				//设置keep-Alive
				.setKeepAliveStrategy(getKeepAliveStrategy())
				.build();
		return httpClient;
	}

	/**
	 * @Description: post请求——JSON格式
	 * @date 2019年12月25日 下午2:10:34
	 * @param url
	 * @param json
	 * @return
	 */
	public static String postJSON(String url, String json) {
		
		HttpPost httpPost = new HttpPost(url);
		StringEntity entity = new StringEntity(json, Consts.UTF_8);//解决中文乱码问题
		entity.setContentType("application/json;charset=UTF-8");
		httpPost.setEntity(entity);
		return getResult(httpPost);
	}

	/**
	 * @Description: post请求——form格式
	 * @date 2019年12月25日 下午2:10:34
	 * @param url
	 * @param json
	 * @return
	 */
	public static String postForm(String url, Map<String,String> params) {
		
		HttpPost httpPost = new HttpPost(url);
		//拼装参数，设置编码格式
		if (MapUtils.isNotEmpty(params)) {
			List<NameValuePair> paramList = new ArrayList<>();
			for (Map.Entry<String, String> stringStringEntry : params.entrySet()) {
				paramList.add(new BasicNameValuePair(stringStringEntry.getKey(), stringStringEntry.getValue()));
			}
			UrlEncodedFormEntity urlEncodedFormEntity = new UrlEncodedFormEntity(paramList, Consts.UTF_8);
			httpPost.setEntity(urlEncodedFormEntity);
		}
		return getResult(httpPost);
	}

	/**
	 * @Description: 通用版处理http请求
	 * @date 2019年12月25日 下午4:56:35
	 * @param request
	 * @return
	 */
	private static String getResult(HttpRequestBase request) {

		/**
		 * 获取httpClient
		 */
		CloseableHttpClient httpClient = null;
		try {
			//获取httpClient
			httpClient = getHttpClinet();
		} catch (Exception e) {
			log.error("【新版http】获取httpClient失败:请求地址:{},异常信息：", request.getURI(),e);
			throw new BusinessException(-1, "获取httpClient失败");
		}
		/**
		 * 发起http请求,并处理响应结果
		 */
		String resultStr = null;
		CloseableHttpResponse httpResponse = null;
		try {
			//发起http请求
			httpResponse = httpClient.execute(request);
			int statusCode = httpResponse.getStatusLine().getStatusCode();
			//响应成功
			if (statusCode == HttpStatus.SC_OK) {
				HttpEntity httpResponseEntity = httpResponse.getEntity();
				resultStr = EntityUtils.toString(httpResponseEntity);
				log.info("【新版http】请求正常,请求地址:{},响应结果:{}", request.getURI(), resultStr);
				return resultStr;
			}
			//响应失败，打印http异常信息
			StringBuffer stringBuffer = new StringBuffer();
			HeaderIterator headerIterator = httpResponse.headerIterator();
			while (headerIterator.hasNext()) {
				stringBuffer.append("\t" + headerIterator.next());
			}
			log.info("【新版http】异常信息:请求地址:{},响应状态:{},请求返回结果:{}", request.getURI(), statusCode, stringBuffer);
		} catch (Exception e) {
			log.error("【新版http】发生异常:请求地址:{},异常信息：", request.getURI(), e);
			throw new BusinessException(-1, "http请求失败");
		} finally {
			//关闭httpResponse
			if (httpResponse != null) {
				try {
					httpResponse.close();
				} catch (IOException e) {
					e.printStackTrace();
				}
			}
		}
		return EMPTY_STR;
	}
}
会飞的冰箱
关注
专栏目录
Http连接池工具类
04-25
两个主机建立连接的过程是很复杂的一个过程，涉及到多个数据包的交换，并且也很耗时间。Http连接需要的三次握手开销很大，这一开销对于比较小的http消息来说更大。但是如果我们直接使用已经建立好的http连接，这样花费就比较小，吞吐率更大。 传统的HttpURLConnection并不支持连接池，如果要实现连接池的机制，还需要自己来管理连接对象。对于网络请求这种底层相对复杂的操作，个人以为如果有可用的其他方案，也没有必要自己去管理连接对象。 除了HttpURLConnection，大家肯定还知道HttpClient。一般情况下，普通使用HttpClient已经能满足我们的需求，不过有时候，在我们需要高并发大量的请求网络的时候，还是用“连接池”这样的概念能提升吞吐量。
【HttpClient4】 基本操作
sdu_yujielei的专栏
04-15 917
1 简单连接示例           CloseableHttpClient httpClient = HttpClients.createDefault();         HttpGet httpGet = new HttpGet("http://www.baidu.com");         CloseableHttpResponse response = httpClie
HttpClient开发中使用
枫叶
06-26 3170
本文参考https://blog.csdn.net/justry_deng/article/details/81042379，自己也去试这写了的么很不错 HttpClient 是Apache Jakarta Common 下的子项目，可以用来提供高效的、最新的、功能丰富的支持 HTTP 协议的客户端编程工具包，并且它支持 HTTP 协议最新的版本和建议。 1.HttpClient特征 实现...
关于HttpClient中连接池是如何保持长链接的
lc
07-11 5783
根据Apache HttpClient 4.5.6讲解。 HttpClient使用如下方式创建HttpClient时，在build()中会默认给HttpClient设置一个连接池PoolingHttpClientConnectionManager return HttpClientBuilder.create().build(); 默认创建的HttpClient是默认保持连接的keepal...
HttpClient详细使用示例
huang714的专栏
03-24 460
HTTP 协议可能是现在 Internet 上使用得最多、最重要的协议了，越来越多的 Java 应用程序需要直接通过 HTTP 协议来访问网络资源。虽然在 JDK 的 java net包中已经提供了访问 HTTP 协议的基本功能，但是对于大部分应用程序来说，JDK 库本身提供的功能还不够丰富和灵活。HttpClient 是 Apache Jakarta Common 下的子项目，用来提供高...
HttpAsyncClient 异步httpClient和同步httpClient连接池的工具类 包含jar
03-22
HttpAsyncClient连接池的使用,项目中频繁发送http请求,同步http阻塞主线程,影响性能,使用 HttpAsyncClient可使性能提高,这里配合连接池使用,效果更好,同时还附带同步httpClient的连接池使用
HttpClient接口调用工具类(附带demo)
11-28
总之，这个HttpClient工具类提供了一个简洁易用的接口，帮助开发者快速、方便地进行HTTP请求，无论是在进行API调用还是数据交互，都能大大简化工作流程。通过这个工具类，你无需深入了解HttpClient的底层实现，只需...
HTTPClient工具类，完整
08-07
HTTPClient工具类，完整，HTTPClient工具类，完整，HTTPClient工具类，完整HTTPClient工具类，完整，HTTPClient工具类，完整
httpClient工具类
02-22
HttpClient工具类在Java编程中是用于执行HTTP请求的常用库，尤其在进行RESTful API调用时非常实用。HttpClient提供了一种更为灵活和强大的方式来处理网络通信，相比Java内置的HttpURLConnection，它提供了更丰富的...
HttpClient工具类
12-27
在HttpClient工具类中，我们通常会看到以下几个关键功能： 1. **创建HttpClient实例**：HttpClient实例是执行HTTP请求的基础。通过`HttpClients.createDefault()`可以创建一个默认配置的HttpClient，或者根据需求...
PoolingHttpClientConnectionManager实现http连接池
热门推荐
毅香雪海的博客
01-08 1万+
PoolingHttpClientConnectionManager是通过租用连接和收回链接的方式来实现的。解决了http请求的多线程问题。 <dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclient</artifactId> </dependency> 实现 首先需要初始化连接池。设定链接数量等，定义清理连.
HttpClient的使用教程
weixin_40159122的博客
12-09 1956
一、HttpClient介绍 HTTP协议可能是现在Internet上使用最多最重要的协议了，越来越多的java应用程序需要直接通过HTTP协议来访问网络资源。虽然在JDK的java net包中已经提供了访问HTTP协议的基本功能，但是对于大部分应用程序来说，JDK库本身提供的功能还不够丰富和灵活。HttpClien则可以提供高效的、最新的、功能丰富的支持http协议的客户端编程工具包，并且...
HttpClient的使用详解与实战
孤独的大佬
05-20 4240
一、HttpClient简介 官网：http://hc.apache.org/ 使用场景 爬虫 多系统之间接口交互 二、使用HttpClient获取网页内容 <dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclient</artifactId> <version>4.5.13</version&gt
httpclient获取页面数据
u013754950的专栏
12-17 1023
package com.cares.aps.weather.plug; /*   * HttpRequestProxy.java   *   * Created on November 3, 2008, 9:53 AM   */      import java.io.BufferedReader;   import java.io.IOException;   impo
HttpClient使用
PJF1501105594的博客
01-14 883
使用步骤: 创建 CloseableHttpClient对象或CloseableHttpAsyncClient对象，前者同步，后者为异步 创建Http请求对象 调用execute方法执行请求，如果是异步请求在执行之前需调用start方法 创建连接： CloseableHttpClient httpClient = HttpClientBuilder.creat...
java httpclient工具类_Java开发小技巧（五）：HttpClient工具类
weixin_29002209的博客
02-13 858
前言大多数Java应用程序都会通过HTTP协议来调用接口访问各种网络资源，JDK也提供了相应的HTTP工具包，但是使用起来不够方便灵活，所以我们可以利用Apache的HttpClient来封装一个具有访问HTTP协议基本功能的高效工具类，为后续开发使用提供方便。文章要点：HttpClient使用流程工具类封装使用实例HttpClient使用流程1、导入Maven依赖org.apache.httpc...
Http连接工具类
qq_42449963的博客
07-03 2672
HttpClient和HttpURLConnection工具类
关于 HTTPS 和 SSL
allway2的博客
08-05 4078
使用您尝试访问的站点的证书在您的客户端安装您自己的 Truststore 是一个很好的做法。以下是 GlobalSign 的快照，他们很好地描述了如果您安装 EV SSL 证书会发生什么，如下图所示，启用 EV SSL 的网站将有一个挂锁和一个绿色的地址栏，就像在 IE 中一样。）来证明公钥的所有权。当您需要多个证书时，在公司中，您可以设置自己的 CA 并将该 CA 的证书安装在所有客户端的根 Keystore 中。一般来说，单向 SSL 是验证您正在访问的网站的真实性并形成安全通道的常用方法。...
HttpClient的基本使用
少年啦飞啦的博客
11-02 1024
——————HttpClient4.510 API参考点我进入 HTTP 协议可能是现在 Internet 上使用得最多、最重要的协议了，越来越多的 Java 应用程序需要直接通过 HTTP 协议来访问网络资源。虽然在 JDK 的 java net包中已经提供了访问 HTTP 协议的基本功能，但是对于大部分应用程序来说，JDK 库本身提供的功能还不够丰富和灵活。HttpClient 是 Apa...
httpclient post使用https 加连接池的工具类
最新发布
05-24
你可以使用 Apache HttpComponents 中的 HttpClient 来进行 https 请求，并使用连接池来提高性能。下面是一个示例代码： ```java import org.apache.http.HttpEntity; import org.apache.http.HttpResponse; import...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值