记一次DataNode节点数据磁盘爆满的问题

起因：ambari中其中一个节点datanode宕机，后台发现该节点突然数据量大增，超出其他节点数据大小
排查：在ambari上启动DataNode节点，不生效，后台查看日志发现盘容量不足。df -h 查看 /opt下磁盘空间不足，但是DataNode不应该只有一块数据盘，因此查看状态良好的其他DataNode节点磁盘挂载情况，发现其他节点均挂载5块磁盘 /data1…/data5，问题出来了，问题节点的磁盘挂载数量不对，导致数据增加的后磁盘爆满导致节点启动不成功。
解决：因为是生产环境，所以不能直接做删除节点处理，解决步骤如下：
1、在ambari上更改数据目录，将/opt/xxx 路径下的目录全部改为/data1/xxx，/data2/xxx…/data5/xxx
2、重启集群
3、退役单盘/opt的DataNode节点
4、删除退役的节点

至此，问题解决！

总结：集群搭建之前要确保环境信息一致，并认真做出规划和记录