能看日志的地方主要就是:/var/log 目录下。
诸如:cloudera-scm-agent、hadoop-hdfs、hadoop-yarn、hbase等等目录下都记录着各种日志。
状况1:有一个DataNode没有启动。
到这个DataNode对应的主机上,查看其日志文件:cat /var/log/hadoop-hdfs/hadoop-cmf-hdfs-DATANODE-slave2.log.out
发现如下异常:
java.io.IOException: Incompatible clusterIDs in /dfs/dn: namenode clusterID = cluster20; datanode clusterID = cluster16
........
既然是/dfs/dn目录下有不兼容的ID,那么到这个目录里面去看看
发现其下果然有一个名字是192.168.56.106的ID,而这是之前的CDH集群的NAMENODE,现在的集群被我改成用105做NAMENODE了。
所以,直接删除/dfs/dn下的文件和目录,然后到CM的管理界面中把整个集群重启,一切OK了。