【内存泄露】记一次内存泄露排查，罪魁祸首是HttpClient

最新推荐文章于 2024-02-27 16:04:07 发布
最新推荐文章于 2024-02-27 16:04:07 发布
阅读量694 收藏 10
点赞数 9
分类专栏： .net core 深度剖析 文章标签： java 算法 linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/codeex/article/details/135166349
版权
本文记录了一次由于HttpClient不正确使用导致的内存泄露排查过程。程序在win7环境下，由于频繁创建HttpClient实例，引发Socket Close_Wait数量异常，最终导致内存溢出。通过分析Dump和句柄，发现并修复了问题，建议HttpClient在应用生命周期内复用以避免资源紧张。
摘要由CSDN通过智能技术生成
  • 📢欢迎点赞 ：👍 收藏 ⭐留言 📝 如有错误敬请指正，赐人玫瑰，手留余香！
  • 📢本文作者：由webmote 原创
  • 📢作者格言：新的征程，我们面对的不仅仅是技术还有人心，人心不可测，海水不可量，唯有技术，才是深沉黑夜中的一座闪烁的灯塔 ！

序言

很久很久以前，曾经的青葱少年，在二进制的海洋里冲浪时，曾经遇到过有关HttpClient内存溢出的恶龙，当时的少年，抽出锋利的宝剑，迅速解决了恶龙。

而时光荏苒，日月如梭，少年已经成为了大叔，再一次，又遇到了这头恶龙…
在这里插入图片描述

1. 突然重启

有时候，面对丰盈的理想，收获总是瘦骨嶙峋。

在长期的生存环境的压力下，每个人都不愿意把目光投向更遥远的璀璨太阳般的理想丰碑上，迅速的解决当下

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Apache HttpClient连接池泄露问题排查
hdfg159的专栏
09-05 1498
Apache HttpClient连接池泄露问题排查 问题背景 业务系统主要的业务是一个数据聚合管理平台，其中系统有一个功能是同步所有资源（简称 大同步） 业务同步数据请求数据工具是适配 Apache HttpClient 的 Feign ，这种请求封装是我当时根据业务适配业务封装请求 api Feign 版本: 10.10.1 问题来源 在生产环境，大同步功能(20多个任务)发现跑了一半多的任务时候卡住，在测试环境并没有发现这个问题 同步接口 public interface Sync
java httpclient 内存不释放_内存泄露排查之线程泄露
weixin_39616056的博客
12-02 2181
基础内存泄露(Memory Leak)java中内存都是由jvm管理，垃圾回收由gc负责，所以一般情况下不会出现内存泄露问题，所以容易被大家忽略。内存泄漏是指无用对象（不再使用的对象）持续占有内存或无用对象的内存得不到及时释放，从而造成内存空间的浪费称为内存泄漏。内存泄露有时不严重且不易察觉，这样开发者就不知道存在内存泄露，需要自主观察，比较严重的时候，没有内存可以分配，直接oom。主要和溢出做区...
关于HttpClient造成的内存泄露问题
寒冰屋的专栏
12-29 788
HttpClient可以复用，但在高吞吐的应用中，也应该复用，否则可能造成Socket资源紧张，因为Socket关闭后，根据TCP协议的安全指引，要‘冷处理’一会后，才能被重新使用，Windows下可以是2分钟/4分钟
HttpClient高并发内存溢出
Crystalqy的博客
02-09 8189
apache 的HttpClient很强大，据说可以承受一万左右的高并发，但是在做项目的时候用HttpClient进行附件上传，并发1000不到的时候都导致了内存溢出，核心代码为： HttpPost post = new HttpPost(url.toString()); post.setEntity(multipartEntityBuilder.build()); HttpRespons...
JAVACPU占用过高、内存泄漏问题排查——HttpClient占用过多buffer
wangyueshu的博客
07-30 6609
问题起因： java工程消费的内容延迟严重，发现负责消费的dispatcher 进程阻塞，且占用的CPU%很高。 开始按照https://www.cnblogs.com/paul8339/p/7464206.html文中提到的方法排查。 一、追查 重点： 如果java进程在docker下执行，需要进入docker里边执行下面的步骤，否则会报错： Unable to open sock...
线上内存泄漏排查全纪录之CloseableHttpAsyncClient
FeelTouch Labs
12-22 3063
目录 前言 疑点restClient在报出异常时没有正确执行关闭导致内存泄漏 关键部分未改动前代码 于是果断修改代码如下，并重新上线 基于源代码分析 分析路线1：经过哪些调用，最终关闭了什么? 分析路线2：这种手动调用是否有必要，不会自动执行资源释放吗？ 最终结论 前言 线上内存报警，重启之后内存占用降低，但是慢慢升高且几乎没有下降迹象，最终流量高峰时触发内存阈值，导致报警，前...
java 线程泄露_内存泄露排查之线程泄露
weixin_42355311的博客
02-16 1323
基础内存泄露(Memory Leak)java中内存都是由jvm管理，垃圾回收由gc负责，所以一般情况下不会出现内存泄露问题，所以容易被大家忽略。内存泄漏是指无用对象(不再使用的对象)持续占有内存或无用对象的内存得不到及时释放，从而造成内存空间的浪费称为内存泄漏。内存泄露有时不严重且不易察觉，这样开发者就不知道存在内存泄露，需要自主观察，比较严重的时候，没有内存可以分配，直接oom。主要和溢出做区...
android asynchttpclient内存泄漏,c#使用httpclient时发生内存泄漏
weixin_39624816的博客
05-31 158
谢谢你的回答，对，代码是var httpClient = new HttpClient(new HttpClientHandler{AutomaticDecompression = DecompressionMethods.GZip | DecompressionMethods.Deflate,UseCookies = false,});httpClient.DefaultRequestHeade...
android asynchttpclient内存泄漏,使用HttpClient异步方法时内存泄漏c＃(示例代码)
weixin_42365688的博客
05-31 304
以下代码每秒调用多次。如果_client.PostJsonAsync抛出OperationCanceledException(例如由于超时)，则返回Task.FromResult(default(T))，但是如果发生这种情况，则内存使用(和CPU使用率)会快速开始爬升，直到抛出OutOfMemoryExceptions(甚至当没有抛出异常时，内存似乎总是爬得越来越慢。代码(或其过度使用)是否有任何...
HttpClient连接池泄露
cainiao1412的博客
02-24 1693
现象 内部提供了一个文件上传的SDK，通过Apache HttpClient访问公司内部的文件服务器进行文件上传，然后偶尔会有同事反馈文件没有上传成功，但是文件服务器这边查看log也并没有收到请求， 比较频繁出现的是，有个小组自己封装了一个导入导出的服务，这个服务会大量频繁的与文件服务打交道，在高峰期的时候，对方导入导出就会大量出现文件无法上传，卡住的情况，查看log就是客户端打印出开始上传，然后线程就没有下文了， 因为sdk没有提供设置connectionTimeout等超时时间的设置，超时时间使用
c# HttpClient禁止缓存
weixin_34203426的博客
11-26 664
using (var client = new HttpClient()) { //方法1： CacheControlHeaderValue cacheControl = new CacheControlHeaderValue(); cacheControl.NoCache = t...
C#内存泄漏原因整理
雪中冰雨
02-06 4300
C#内存泄漏原因整理
eclipse中出现的Resource leak解决方法
LOGAN'S BLOG
06-28 3250
相信大家都遇到过如下问题 虽然这个警告并不会对程序执行产生影响，但出于代码应该简洁正确的原则，还是应该尽量消除这些警告 出现该警告的原因：是因为声明了输入流System.in，即数据输入扫描器，错误警告意为：资源泄露，扫描器永远不会关闭。声明以后，系统会自动为其分配相应的内存空间，但在程序运行结束后，并没有对释放这部分内存空间，导致空间一直被占用，这就造成了内存资源的浪费，所以出现警告 最常用的解决方法：在main()函数末尾处，也就是程序运行结尾，使用xx.close();函数结束该输入流，从而释放内存
真实项目中，由于内存泄漏(OOM)，导致1W多次full gc，最终项目宕机
Jasonzhou
02-27 573
真实项目中，由于内存泄漏(OOM)，导致1W多次full gc，最终项目宕机
Apache HttpClient 资源释放、请求超时，导致线程池用光、内存不足
u010486495的专栏
04-04 7321
Apache HttpClient，据说很强大，可以支持峰值一秒7万以上的请求。不过需要注意一些资源释放和超时处理的问题。问题1：线程资源无法释放，最终导致内存不足、或线程池被用光。问题代码：[java] view plain copy private static HttpClient httpClient = HttpClientBuilder.create().build();  priva...
httpclient并发导致溢出，cpu飙升等问题，然后自定义CloseableHttpClient连接池
停止使用
09-03 3911
import com.alibaba.fastjson.JSONObject; import fangrong.com.cn.constant.ResultCode; import lombok.extern.slf4j.Slf4j; import org.apache.http.*; import org.apache.http.client.HttpRequestRetryHandler...
记一次SOFA内存泄漏排查过程
liangheyan的专栏
12-07 958
记一次内存泄漏排查过程 起因      某天中午大家还在安静的午休，睡得正香的时候突然被一阵手机滴…滴滴直响短信惊醒。一看是应用的服务器告警并且对应服务的所有机器都在告警“健康检查失败，自动拉下线”。这还得了，无意识的打开CAT,大盘红得直奔5000点的感觉。直接使用终极大招，赶紧联系运维小哥重启所有服务，留一台保留现场调查原因。服务恢复正常。 分析      通过分析发现一个现象：健康检查在多次检查失败后把
RestTemplate出现内存泄漏
最新发布
12-26
`RestTemplate`是Spring框架中用于发送HTTP请求的一个工具类，它通常配合`@RestController`等注解一起使用。然而，如果不恰当使用或管理不当，可能会导致内存泄漏问题： 1. **静态引用**: 如果在单例模式的bean中对`RestTemplate`进行了静态引用，并且这个bean生命周期比请求长，那么每次请求都会创建一个新的线程池，当请求结束后线程池不会自动关闭，从而造成内存泄漏。 2. **未关闭的连接**: 如果在处理完请求后忘记关闭`RestTemplate`实例或者其内部的`HttpURLConnection`或`HttpClient`，这些连接会一直占用系统资源，直到超时或手动关闭。 3. **响应流未关闭**: 当从服务器接收大文件或流式数据时，如果在读取完成后没有关闭响应流，这同样可能导致资源泄露。 为了防止`RestTemplate`引发的内存泄漏，建议实践以下最佳实践： - 使用`RestTemplate`的工厂方法获取实例，而不是直接持有静态引用。 - 在完成每个请求后，确保`Closeable`接口的实现（如`ResponseEntity`）都被正确关闭。 - 如果使用的是`RestTemplate`的`execute()`方法，记得关闭`HttpURLConnection`或`HttpResponse`。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

webmote

如果能帮到你，请支持下博主

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值