Storm 集群监控报警-问题排查记录

Storm 集群监控报警-问题排查记录

1. 问题一、cpu繁忙

1.1. 报警信息

PROBLEM P0 Endpoint:xxx Metric:cpu.idle Tags: all(#3): 12.84751⇐20 Note:cpu繁忙 Max:3, Current:1 Timestamp:2016-07-27 15:10:00 

1.2. 排查步骤

1、查看集群host,终端a0xx对应Strom Bxx 集群，ip地址1xxx。 
2、通过openfalcon搜索StormManagerStormDBD_StormBJ004_System，查看cpu.idle界面 
3、在15:07左右，cpu.idle<20% 
4、登录supervisor节点，在/opt/logs/stormlog3目录下查看supervisor.log，日志信息是：2016-07-27 15:07:39 b.s.d.supervisor [INFO] 89a46d5d-3e30-4f46-92d3-ac3a2d38a050 still hasn't started 
5、登录集群nimbus节点，在/opt/logs/stormlog3目录下查看nimbus.log:tail nimbus.log。 
6、发现日志中发生了任务重启：2016-07-27 15:07:36 b.s.d.nimbus [INFO] Setting new assignment for topology id Real_Yk_Album_VvCount-19-1469603255:…… 

1.3. 分析

任务重启导致队列中消息增多，cpu处理繁忙。

2. 问题二、cpu波动

2.1. 报警信息

2.2. 排查步骤

询问相关用户是否是业务代码有问题。

3. 问题三、cpu分配不均匀

3.1. 报警信息

3.2. 排查步骤

fdxxx任务使用了三个worker，cpu使用率差异100倍，这种情况需要解决一下，以免影响任务的正常执行。

4. 问题四、任务的tps有大幅增加

4.1. 报警信息

4.2. 排查步骤

从adxxx任务的tps来看，最近2个月有2次数据的上升，任务的worker数量一直没有变化。建议将worker数从15设置为20个。

5. 问题五、磁盘IO吃紧

通常去找哪些任务的日志增长比较快，问题基本是由于这带来的。