堆外内存泄漏问题排查及解决

1 、定位进程

  通过top命令查看最占用内存的进程，为pid为1389816的 java进程

2、定位线程

执行命令 ： ps p 1389816 -L -o pcpu,pmem,pid,tid,time,tname，找出最耗用内存的线程

3、分析jstack日志

1. jstack -l 1389816 > /tmp/jstack.log，将进程中的线程详细信息
2. printf "%x " 1389817 把最繁忙的靠前的线程转为16进制
3. 在jstack中找到，发现全部是gc线程
   

6、分析dump文件

通过dump文件分析，并无发现异常对象，而且堆内存使用正常，判断不是堆内存泄漏

7、定位问题原因

监控中看到内存使用率居高不下，但主要是堆外内存一直在持续增长，定位到应该是有堆外内存泄漏

8、排除是线程增长引起的内存泄漏

监控中看到线程数量一直在持续增长。考虑到是不是有线程一直在加载或请求资源。只要通过线程名字，就能找到对应的程序代码，但对比分析了三天的jstack日志，写程序统计了各种线程的数量，分析增长变化。没有发现异常线程，排除了这种可能

9、关闭各种资源，定位问题入口

1. 停止所有http调用
2. 关闭kafka消费逻辑

10、定位有问题的程序

关闭所有资源访问后，发现pod内存还是在持续的线性增长，此时想到应该是程序内部有定时任务。根据增长频率，判断是一个执行频率极其高的定时任务。
查找所有@Schduled ，最后判定应该是这里。

trace后，发现了这个程序，每次都会使用 ScriptEngineManager 创建 ScriptEngine 实例，然后使用 Compilable 接口将脚本编译为 CompiledScript 对象。
如果无限制地编译脚本，一定程度上会对内存造成压力并引起内存泄漏。因为在Java中，每次使用javax.script.ScriptEngine进行脚本编译时，会创建一个新的ScriptEngine实例，如果这些实例无限制地被创建和保存在内存中，就会导致内存占用过多。这种情况下，可能会出现OOM等内存相关的异常。

11、问题解决

临时解决，通过以下方式可停止内存无限制的增长
1、定时任务@Async 使用自定义线程池
2、获取引擎脚本对象的对象，替换为封装好的使用ThreadLocal做缓存的方法

• 未来优化
  安全使用脚本，有以下三种方式：

1. 每个线程都创建一个新的 ScriptEngine 实例和 CompiledScript 对象
2. 加锁或使用其他线程同步机制来确保在同一时间内只有一个线程使用 CompiledScript对象
3. 不要使用 CompiledScript 共享任何资源，或者使用线程安全的资源来避免并发问题

未来可以考虑使用池化资源的方式，来保证脚本对象线程安全的使用。