jemalloc java_记一次尴尬的Java应用内存泄露排查

最新推荐文章于 2023-01-31 15:21:16 发布
最新推荐文章于 2023-01-31 15:21:16 发布
阅读量971 收藏 1
点赞数
文章标签： jemalloc java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39518678/article/details/114110950
版权
本文记录了一次Java应用内存占用增大的排查过程，从错误判断直接内存问题，到发现堆外内存的64M块，尝试使用tcmalloc和jemalloc，最终发现业务中图片处理导致的内存占用升高。修复了一个看似不相关的图片处理接口问题后，内存不再异常增长。排查过程中体现了搜索引擎使用的重要性，并强调了解决问题的深入学习价值。
摘要由CSDN通过智能技术生成

这星期被线上JVM内存占用不断增大的问题所困扰,自己提出了一些假设,然后去实施验证都一一失败了,有一些经验和教训在这里分享下.

之所以是尴尬,是最后因为修复了另一个看似不相关的问题导致内存不再上升,但这之间的关系还未明了,还需要继续追踪.

这里讲述一下这次排查的过程.

直接内存的错误判断

服务器的JVM配置为Xmx3g,使用G1,没有设置Xms考虑自然收缩和fgc之后的空间回拢.

没有发生过fgc,且堆内存的增长正常,排除掉堆内存的问题.

使用NMT查看各个区域的内存正常,committed内存不足4G,但实际情况内存占用不断增大,甚至出现了OOM killer杀掉java进程.

Total: reserved=5037MB, committed=3926MB

- Java Heap (reserved=3072MB, committed=3072MB)

(mmap: reserved=3072MB, committed=3072MB)

- Class (reserved=1196MB, committed=192MB)

(classes #29793)

(malloc=6MB #86203)

(mmap: reserved=1190MB, committed=186MB)

- Thread (reserved=186MB, committed=186MB)

(thread #184)

(stack: reserved=184MB, committed=184MB)

(malloc=1MB #922)

(arena=1MB #366)

- Code (reserved=273MB, committed=171MB

最低0.47元/天 解锁文章
weixin_39518678
关注
内存泄漏定位思路整理
zy562760942的博客
08-31 371
一次内存泄漏定位之旅 一、问题描述 ​ 我们自己写的软件，在常稳的压力测试中，大概每天会增长1G左右的内存，这个内存增加量是非常之巨大并且影响也是非常严重的。 二、基础知识准备 ​ 既然要定位内存泄漏，那肯定不能够直接凭眼睛看和屏蔽代码的方式，这样的效率低并且很大概率是找不到问题所在的，所以还是要依赖工具，下面就介绍一下基本工具使用: 1. valgrind(神器)：这个工具堪称是内存泄漏定位神器，基本上linux设备上的内存泄漏都可以通过这个工具进行定位，但是这个工具有一个本身的缺陷就是它是在软件层面模拟
记一次线上JVM原生系统内存泄露排查
以简为道
03-26 4485
目录问题报告应用概况初步分析Java堆内存，MetaSpace等使用情况Java堆外内存分析进程原生内存分析(Native Memory)原生内存详细分析内存内容分析引入jemallocjava.util.zip.Inflater.inflateBytes调用栈跟踪Kylin JDBC Driver内存泄露分析结论 问题报告 一日运维报告某应用JVM进程被OOM kill [日期] 10-15-1...
jemalloc java_C++性能优化（十） —— JeMalloc
weixin_36179777的博客
02-13 541
C++性能优化(十) —— JeMalloc一、JeMalloc简介1、JeMalloc简介JeMalloc 是一款内存分配器，最大的优点在于多线程情况下的高性能以及内存碎片的减少。GitHub地址：https://github.com/jemalloc/jemalloc2、JeMalloc安装JeMalloc源码下载：git clone https://github.com/jemalloc/j...
jemalloc java_jemalloc 5.0.0 全新版本发布，内存分配管理
weixin_39688019的博客
02-17 308
jemalloc 发布了全新的 5.0.0 版本。与以前所有的版本不同，新版本不使用自然对齐的“chunks”进行虚拟内存管理，而是使用页面对齐的“extents”。jemalloc 是一个通用的 malloc(3)实现，它强调了分段回避和可伸缩并发支持。jemalloc 在 2005 年首次作为 FreeBSD libc 分配器使用，2010年，jemalloc 的功能延伸到如堆分析和监控/调优...
java没错泄露_Java内存泄露问题
weixin_42509267的博客
02-24 70
内存泄露很多人在谈论内存泄露问题，当然对于c/c++来说，这个应该是老掉牙的问题，但是很多Java人员也越来越多得讨论这个问题，我这里写个小结，希望对大家有一定的参考价值。必须先要了解的1.c/c++是程序员自己管理内存，Java内存是由GC自动回收的。我虽然不是很熟悉C++，不过这个应该没有犯常识性错误吧。2.什么是内存泄露?内存泄露是指系统中存在无法回收的内存，有时候会造成内存不足或系统崩溃。...
内存泄漏的java代码_java程序员--小心你代码中的内存泄漏
weixin_39863155的博客
02-12 158
当你从c&c++转到一门具有垃圾回收功能的语言时，程序员的工作就会变得更加容易，因为你用完对象，他们会被自动回收，但是，java程序员真的不需要考虑内存泄露吗？ 其实不然1.举个例子-看你能否找出内存泄漏import java.util.Arrays;public class Stack {private Object[] elements;private int size = 0;pri...
jemalloc java,使用JeMalloc在Java应用程序中查找本机内存泄漏
weixin_39669629的博客
02-17 328
Currently I am trying to resolve a Java memory issue:My Java application keeps using more and more memory andeventually it gets killed by the Linux OOM killer.There is probably a Native Memory leak, b...
一次 Java 进程 OOM 的排查分析（glibc 篇）
weixin_50063960的博客
03-07 492
一次 Java 进程 OOM 的排查分析（glibc 篇）
jvm堆外内存排查详解
最新发布
少说，多做
01-31 1万+
内存泄漏想必大家并不陌生，对于jvm的内存泄漏，有很多排查手段和方便的排查工具，例如MAL，但是对于非jvm的内存，如直接内存的使用，排查起来较为麻烦，下面介绍一下相关的排查手段。
nginx优化 使用Google的开源TCMalloc库
02-11
1：首先下载libunwind-1.1 # wget http://down.yunwei8.com/soft/linux/libunwind-1.1.tar.gz 然后安装 # tar zxvf libunwind-1.1.tar.gz # cd libunwind-1.1 # CFLAGS=-fPIC ./configure # make CFLAGS=-fPIC # make CFLAGS=-fPIC install 2：安装google-perftools： 首先下载gperftools-2.0 # wget http://down.yunwei8.com/soft/linux/gperftools-2.0.tar.gz 然后安装 # tar zxvf gperftools-2.0.tar.gz # cd gperftools-2.0/ # ./configure # make && make install # echo "/usr/local/lib" > /etc/ld.so.conf.d/usr_local_lib.conf # /sbin/ldconfig 3：重新编译nginx 不会安装的看这里 http://www.yunwei8.com/nginx124/ # cd /soft/nginx-1.2.4 # ./configure --user=www --group=www --prefix=/usr/local/server/nginx --with-http_stub_status_module --with-http_ssl_module --with-http_sub_module --with-google_perftools_module # make && make install 安装参数说明看这里：http://www.yunwei8.com/nginxcs 4：为tcmalloc添加目录，并且赋予适当权限 # mkdir -p /tmp/tcmalloc/ # chown -R www:www /tmp/tcmalloc/ 5：修改 nginx.conf ，令nginx可以 google-perftools实现加速 # vi /usr/local/server/nginx/conf/nginx.conf 修改前面几行为： user www www; worker_processes 8; error_log /web/logs/nginx_error.log crit; pid logs/nginx.pid; google_perftools_profiles /tmp/tcmalloc/; events{ use epoll; worker_connections 65535; } 6：测试和运行 # /usr/local/server/nginx/sbin/nginx -t 如果显示下面信息，即表示配置没问题 nginx: the configuration file /opt/nginx/conf/nginx.conf syntax is ok nginx: configuration file /opt/nginx/conf/nginx.conf test is successful 输入代码运行nginx服务 # /usr/local/server/nginx/sbin/nginx # ps aux|grep [n]ginx 如果显以类似下面的信息，即表示nginx已经启动 root 22900 0.0 0.1 43216 1576 ? Ss 08:23 0:00 nginx: master process /usr/local/server/nginx/sbin/nginx www 23019 0.0 2.6 68816 27160 ? S 08:48 0:00 nginx: worker process www 23020 0.0 2.6 68816 26828 ? S 08:48 0:00 nginx: worker process www 23021 0.0 2.6 68816 26828 ? S 08:48 0:00 nginx: worker process www 23022 0.0 2.6 68816 26828 ? S 08:48 0:00 nginx: worker process www 23023 0.0 2.6 68816 26828 ? S 08:48 0:00 nginx: worker process www 23024 0.0 2.6 68816 26828 ? S 08:48 0:00 nginx: worker process www 23025 0.0 2.6 68816 26828 ? S 08:48 0:00 nginx: worker process www 23026 0.0 2.6 68816 26828 ? S 08:48 0:00 nginx: worker process 输入代码检测是否支持加速 # lsof -n | grep tcmalloc 如果显示类似下面的信息，即表示支持tcmalloc加速 (nginx八个线程都支持) nginx 31655 www 9w REG 8,1 0 479533 /tmp/tcmalloc/.31655 nginx 31656 www 11w REG 8,1 0 479534 /tmp/tcmalloc/.31656 nginx 31657 www 13w REG 8,1 0 479535 /tmp/tcmalloc/.31657 nginx 31658 www 15w REG 8,1 0 479536 /tmp/tcmalloc/.31658 nginx 31659 www 17w REG 8,1 0 479537 /tmp/tcmalloc/.31659 nginx 31660 www 19w REG 8,1 0 479540 /tmp/tcmalloc/.31660 nginx 31661 www 21w REG 8,1 0 479538 /tmp/tcmalloc/.31661 nginx 31662 www 23w REG 8,1 0 479539 /tmp/tcmalloc/.31662 优化完成
使用jemalloc优化java_Jemalloc优化MySQL和Nginx
weixin_42356284的博客
02-27 426
Redis 2.4版本之后，默认使用jemalloc来做内存管理；tengine也整合jemalloc。jemalloc从各方评测的结果可见与google tcmalloc都不相伯仲，皆为内存管理器领域最高水平。如下图： 最左边的就是glibc的malloc，最右边的就是jemalloc。从图表上可以看出，jemalloc的性能有glibc的两倍以上。非常压 倒性的性能差异。因此，使用了jemal...
java jemalloc_jemalloc 快速上手攻略
weixin_35229677的博客
02-16 928
引言 - 赠送个 Cygwin (加精)Cygwin 有它存在的合理性. 至少比 wine 好太多了. 它主要功能是在winds上面简易的模拟出linux环境, 比虚拟机轻量一点点. 坑也不少, 难卸载, api模拟也只是粗模拟, 对于linux系统级别很多api使用不一致. 当然及其适合刚开始学习linux开发同学尝试. linux 搞多了, 可能还真不一定比 winds 好. 否则也不会那么多...
使用jemalloc检测应用程序的内存泄漏问题
09-17 281
内存泄漏的问题不好排查，虽然有valgrind
Java进程的内存占用[译] Part 6 - AndreiPangin
maicheng365的博客
12-05 526
所幸，还有一些替代的分配器可用，例如：jemalloc、tcmalloc、mimalloc
[转] 利用jemalloc分析内存泄漏
weixin_33881050的博客
06-04 1606
from:https://blog.intzero.net/tools/jemalloc.html Jemalloc不仅实现了一种通用的malloc, 还能利用它来做内存分析和监控/调优等. 这里介绍如何利用jemalloc来检测内存泄漏问题. 并且利用LD_PRELOAD环境变量, 可以做到不需要源代码, 将jemalloc库嵌入到可执行程序中, 从而用jemalloc去malloc...
jemalloc 快速上手攻略
weixin_30466039的博客
10-22 208
引言 - 赠送个 Cygwin (加精) 　　Cygwin 有它存在的合理性. 至少比 wine 好太多了. 它主要功能是在winds上面简易的模拟出linux环境, 比虚拟机 轻量一点点. 坑也不少, 难卸载, api模拟也只是粗模拟, 对于linux系统级别很多api使用不一致. 当然及其适合刚开始学 习linux开发同学尝试. linux 搞多了, 可能还真不一定比 winds 好. ...
jemalloc学习笔记
weixin_34384557的博客
11-12 874
1，首先从内存中申请一块大内存chunk（默认为4M）; 2，需要有一个角色来管理申请的多个chunk，这时候arena出场了，它用来管理多个chunk； 3，将内存对象分为三个等级 small <4k； large [4k,4M)； huge >=4M； 4，为了内存对齐，在small中，将此区间分成 44 档，每次小分配请求归整到某档上。例如，小于8字节的，一律分配...
mysql jemalloc_Jemalloc优化MySQL和Nginx
weixin_27966471的博客
01-27 275
jemalloc源于Jason Evans 2006年在BSDcan conference发表的论文：《A Scalable Concurrent malloc Implementation for FreeBSD》。jason认为phkmalloc(FreeBSD's previous malloc implementation by Kamp (1998))没有考虑多处理器的情况，因此在多线程...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值