记一次DataNode启动异常"Cannot lock storage /opt/hadoop/hdfs/data. The directory is already locked"

ambari上监控节点 发现有一台datanode节点启动后自动杀掉，查看日志发现如下报错：

显示目录被锁定了，分析可能是磁盘已满，df -h 检查磁盘情况，发现并无问题：

继续查看日志，发现新问题：

发现/data1目录也有问题，但是刚才查看磁盘，并未看见/data1目录挂载情况，因此使用lsblk继续查看：

问题一目了然：/opt和/data1目录共同挂载到/dev/sdb上了，所以对一个磁盘操作两次，导致“The directory is already lock"

解决方式：

卸载冲突磁盘、重新启动DataNode：

umount /data1

ambari上重新启动