Hadoop常见问题整理

1/运行mr程序出错

connecting to resoucemanager 
retrying ....  
retrying .....

原因是没有启动yarn或者启动失败，正常启动yarn后，又报下面的错误：

System times on machines may be out of sync,check system time and time zones

原因是各个节点的时间没有统一，使用NTP统一时间，或是使用secureCRT自带的
send chat to all sessions菜单统一给节点执行sudo date -s 2018-03-20 10:53

2/初始化工作目录结构
hdfs namenode -format 只是初始化了namenode的工作目录
而datanode的工作目录是在datanode启动(执行startdfs.sh命令)后自己初始化的

使用tree命令查看目录结构（如果没有这个命令，要先安装sudo yum install -y tree）

hdpdata 树结构.png

 

3/datanode不被namenode识别的问题
namenode在format初始化的时候会形成两个标识：
blockPoolId：
clusterId：

新的datanode加入时，会获取这两个标识作为自己工作目录中的标识。

一旦namenode重新format后，namenode的身份标识已变，而datanode如果依然
持有原来的id，就不会被namenode识别。

namenode.png

datanod