运行一天的storm,竟然全挂了,查看storm的日志报org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss
错误,后查询所有的nimbus.log,supervisor.log,worker-xxx.log 都报这个错误,查看zookeeper的进程,发现zookeeper竟然停了,继续查找zookeeper为什么停,查询bin/zookeeper.out 日志。
发现java.io.IOException: No space left on device 错误,上网查资料:
说是 磁盘空间不够了
df -h
文件系统 容量 已用 可用 已用%% 挂载点
/dev/vda2 4.0G 370M 3.4G 10% /
tmpfs 1.9G 0 1.9G 0% /dev/shm
/dev/vda6 1008M 957M 124K 100% /home
/dev/vda7 59G 333M 55G 1% /home/jm
/dev/vda1 7.9G 824M 6.7G 11% /usr
/dev/vda5 4.0G 257M 3.5G 7% /var
发现home目录满了。
查找原因:
发现1是home得容量太小,2是zookeeper的数据文件太大。