连接池 最大查询时间_RestTemplate 连接池:记一次压测调优

[ 用大白话讲解复杂的技术 ]

0e854cc4f995023343d52291b2964ed0.png

这是我的第 53 篇原创文章 作者 l 会点代码的大叔(CodeDaShu)   

最近工作上有些调整,进入了另一个项目组,本周在给一个接口做压力测试的过程中,发现 TPS 波动比较大:单台服务器的 TPS 在 1000 到 200 之间波动,发现问题后我们做了这几件事儿逐一排问题。

1. 排除其他操作对压测的影响

观察数据的时间戳,发现在压测过程中有频发的数据写入,先暂停跑批操作,再次压测波动依然存在;

2. 代码检查,降低数据库查询次数

做代码检查,这个功能需要查询六次数据库、调用一次接口才能获得所有数据,经过优化后将查询数据库的次数降低为三次,再次压测后 TPS 有所提升,但是波动的情况还存在;

3. 分阶段压测,缩小问题范围

因为该接口的逻辑是本地逻辑 + 远程调用,于是先做了挡板单压本地逻辑,再单独压远程接口,两次压测不存在波动的问题,所以基本上可以确定是调用接口的过程中存在一些问题;

4. 排除 GC 问题

调用接口的过程中创建了太多的 Java 对象,可能会引发频发的 GC 操作;但是通过对 JVM 的观察排除了这个问题;

5. 初步确认问题

最后将问题的范围缩小,怀疑是 RestTemplate 的使用问题;

RestTemplate 是 Spring 提供的用于访问 Http 接口的客户端框架,能够大大提高客户端的编写效率,大部分基于 SSM 或 Spring Boot 的项目会使用 RestTemplate,翻了一下项目中 RestTemplate Config,只配置了超时时间:

@Configurationpublic class RestTemplateConfig {    @Bean    public RestTemplate restTemplate(){        SimpleClientHttpRequestFactory factory =new SimpleClientHttpRequestFactory();        factory.setConnectTimeout(30000);        factory.setReadTimeout(10000);        RestTemplate restTemplate = new RestTemplate(factory);        return restTemplate;    }}

RestTemplate 默认的 

ClientHttpRequestFactor 为

SimpleClientHttpRequestFactory,其中的 createRequest 方法,每次都会创建一个新的连接,建立连接本身就是一个费时费力的操作,如果频繁地对一个接口发起调用,每次都创建连接会造成极大的资源浪费,而且若连接不能及时释放,就会因为无法建立新的连接导致后面的请求阻塞。

@Overridepublic ClientHttpRequest createRequest(URI uri, HttpMethod httpMethod) throws IOException {  HttpURLConnection connection = openConnection(uri.toURL(), this.proxy);  prepareConnection(connection, httpMethod.name());  if (this.bufferRequestBody) {    return new SimpleBufferingClientHttpRequest(connection, this.outputStreaming);  }  else {    return new SimpleStreamingClientHttpRequest(connection, this.chunkSize, this.outputStreaming);  }}

看到这种情况处理起来也算简单:弄个连接池;

创建 RestTemplate连接线程池,就需要使用其他的 HTTP 库(默认使用的是 JDK 自己的),比如 HttpComponents、Netty、OkHttp,在这里我选择的是 HttpComponents 。

1. 引入依赖:

<dependency>    <groupId>org.apache.httpcomponentsgroupId>    <artifactId>httpcoreartifactId>    <version>version>dependency><dependency>    <groupId>org.apache.httpcomponentsgroupId>    <artifactId>httpclientartifactId>    <version>version>dependency>

2. 修改 RestTemplateConfig :

@Configurationpublic class RestTemplateConfig {    @Bean    public RestTemplate restTemplate() {        return new RestTemplate(httpRequestFactory());    }    @Bean    public ClientHttpRequestFactory httpRequestFactory() {        return new HttpComponentsClientHttpRequestFactory(httpClient());    }    @Bean    public HttpClient httpClient() {        Registry registry = RegistryBuilder.create()                .register("http", PlainConnectionSocketFactory.getSocketFactory())                .register("https", SSLConnectionSocketFactory.getSocketFactory())                .build();        PoolingHttpClientConnectionManager connectionManager = new PoolingHttpClientConnectionManager(registry);        //设置整个连接池最大连接数        connectionManager.setMaxTotal(400);                //路由是对maxTotal的细分        connectionManager.setDefaultMaxPerRoute(100);        RequestConfig requestConfig = RequestConfig.custom()                .setSocketTimeout(30000)  //返回数据的超时时间                .setConnectTimeout(10000) //连接上服务器的超时时间                .setConnectionRequestTimeout(1000) //从连接池中获取连接的超时时间                .build();        return HttpClientBuilder.create()                .setDefaultRequestConfig(requestConfig)                .setConnectionManager(connectionManager)                .build();    }}

修改完成之后再次压测,单机 TPS 稳定在 1200,打完收工。

期待分享

如果您喜欢本文,请点个“在看”或分享到朋友圈,这将是对我最大的鼓励。

b5f317eec529aed83717e2326572bf2f.png

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值