今天早上,在使用Storm UI查看日志处理情况的时候,发现storm集群中一台从机挂了,于是我登陆了部署那台从机的linux查看,运行jps -m 查看进程运行情况,发现报了一个warning:
Java HotSpot(TM) 64-Bit Server VM warning: Insufficient space for shared memory file:
/tmp/hsperfdata_work/10700
Try using the -Djava.io.tmpdir= option to select an alternate temp location.
看这个大概的意思是共享内存文件空间不足,于是df查看了使用情况:
Filesystem 1K-blocks Used Available Use% Mounted on
/dev/mapper/VolGroup01-LogVol00 49384248 49384248 0 100% /
发现这个目录使用率100%,但是这个只是逻辑卷,具体是由于/tmp目录下,日志文件太多,导致空间被占满了。
然后用
find / -size +100M -exec ls -lh {} \;
查看大小超过100M的文件,发现在zookeeper/中有许多大于100M的日志文件,然后进入该目录,删除一些日志文件,然后重启zookeeper,重启storm,一切恢复正常。