Storm任务常见问题总结

 

内存泄漏[OOM]

容器类使用不当,导致对象无限增加。

 

 

线程泄漏

修复前后对比,正常情况下100-200个线程之间就足够了。

 通过命令快速查看进程的线程数量   ,  ps hH p <pid> | wc -l,这个命令查看一个进程(用H选项)的线程数

for i in `ps aux | grep -v grep | grep java | awk '{print $2}'` ; do echo $i "-->" `ps hH p $i | wc -l`  ; done
81109 --> 29
81112 --> 22
166924 --> 43
176107 --> 153
176109 --> 148

 

 

 

连接泄漏

JDBC4PreparedStatement对象没有关闭,连接泄漏同时也会OOM

 

 

 

 

并发设置不合理

并发设置过大导致线程数高居不下,上下文切换成本较大。

 

组件并发设置不合理,导致worker CPU使用率偏差较大,影响任务的稳定。

 

 

不合理日志输出

日志太多,很容易把磁盘写爆。

 

 

下游系统故障

mysql IO问题,导致数据囤积在worker中会触发频繁的GC。

 

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值