- 博客(4)
- 收藏
- 关注
RSS订阅原创 Flink TM内存详解
碰到说是DriectMemory内存超了，直接调task.off-heap.size，其他不需要调整，除非确认是framwork的问题，network不会把问题暴露在这个阶段。如果我们很依赖RocksDB进行状态数据存储，想要提高RocksDB的性能，就可以调大 fraction。Java 的 Overhead 就是给 TM 预留的内存，防⽌ Container 超内存被 yarn 或 K8s kill。程序在垃圾回收上花了很多时间，却手机一点点内存，伴随着会出现CPU的升高。
2024-01-06 20:46:45
1351
原创 记录一次线上Hbase2.1.0版本RegionServer节点无故挂掉，且无日志输出
etc/abrt下的两个文件，分别是：abrt-action-save-package-data.conf 和 abrt.conf，修改内容如下。我们后面排查的时候去查看/run/cloudera-scm-agent/process/2325-hbase-REGIONSERVER下是否有。发现有个hs_err_pid15967.log JVM生成的错误日志，那么把这个日志下载查看，返现日志这么写的。接下来就等下一次hbase的节点挂了之后查看转储文件，转储文件在/var/sqool/abrt下。
2024-01-04 22:10:43
1108
原创 记录Flink 线上碰到java.lang.OutOfMemoryError: GC overhead limit exceeded如何处理？
找到这个IP的端口，使用 netstat 找到PID ---> netstat -atunpl | grep 23567。发现使用HashMap占用太多，寻找自己使用HashMap的方法进行排查，发现没有释放HashMap内数据导致内存一直增加。task heap 是我们用户写代码所使用的的堆内存，那我们就要考虑是不是自己业务代码有问题吗？1 查看某个TM的堆内存占用是否过高，如果过高，通过页面的端口号找到该TM的PID。2 利用命令：jmap -histo:live pid 对该PID进行操作。
2024-01-02 16:26:09
1821
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人