HttpClient高并发内存溢出

apache 的HttpClient很强大,据说可以承受一万左右的高并发,但是在做项目的时候用HttpClient进行附件上传,并发1000不到的时候都导致了内存溢出,核心代码为:

HttpPost post = new HttpPost(url.toString()); post.setEntity(multipartEntityBuilder.build());

HttpResponse response = httpClient.execute(post);

经过调试和查看httpClient的源码发现,由于httpClient.execute(post)返回值response并不能close,因此在上传大文件而且高并发的情况下会导致线程一直被占用,导致资源不足

用CloseableHttpClient来替代HttpClient,httpClient.execute(post)得到CloseableHttpResponse可以被关闭,从而避免了上述问题

  HttpPost post = new HttpPost(url.toString());
        post.setEntity(multipartEntityBuilder.build());
        // try with resource语法response.close()会被自动调用
        try (CloseableHttpResponse response = httpClient.execute(post)) { 

        } catch (Exception ex) {

        } finally {

        }
  • 1
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
对于高并发请求第三方接口,可以使用 HttpClient 来实现。以下是一些实践中的建议: 1. 使用连接池:在高并发环境下,创建和关闭连接会消耗大量资源和时间。使用连接池可以重复利用连接,提高性能。HttpClient 提供了连接池管理器,可以通过 PoolingHttpClientConnectionManager 类来管理连接池。 2. 设置超时时间:在请求第三方接口时,应该设置合理的超时时间。如果接口响应时间过长,应该及时中断请求,防止占用过多资源。可以通过 RequestConfig 类的 setConnectTimeout 和 setSocketTimeout 方法来设置连接和读取超时时间。 3. 并发执行请求:可以使用多线程或线程池来并发执行请求。每个线程可独立创建 HttpClient 实例,并使用独立的连接池进行请求。这样可以提高并发能力,同时注意要控制并发线程数量,避免对第三方接口造成过大的负载。 4. 考虑流量控制:高并发请求可能导致第三方接口的压力过大,可能会被服务提供方限制流量或拒绝服务。可以通过限制每秒请求的数量、使用消息队列等方式来控制流量,避免对第三方接口造成过大的压力。 5. 错误处理和重试机制:在请求第三方接口时,要考虑网络异常、超时、返回错误码等情况。可以通过捕获异常并进行重试,或者根据返回的错误码进行相应的处理。 综上所述,使用 HttpClient 可以方便地实现高并发请求第三方接口,并根据实际情况进行连接池管理、设置超时时间、并发执行请求、流量控制以及错误处理和重试等操作。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值