Hadoop学习常见错误

一、关于安装

1.  在Hadoop全分布环境搭建中，记得每台服务器上都需要安装 JDK

2.  安装Hadoop完毕后，除了需要配置环境变量外，还需要修改多个配置文件，缺一不可。文件位置在你指定路径安装的Hadoop下  的 /etc/hadoop/ 目录下。       

 需要修改的配置文件：    hadoop-env.sh         hdfs-site.xml       core-site.xml        mapred-site.xml (这个配置文件是原来 mapred-site-template 修改过的名字)   yarn-site.xml   slaves   由于疏忽，忘记配置slaves，导致在主机上启动服务后，其它服务器完全没反应。

3.  由于多次format namenode节点导致  namdenode 的 namespaceID 与  datanode的namespaceID 不一致，从而导致namenode和 datanode的断连。     

     解决方案：1、先将Hadoop所有服务停止，stop-all.sh    2、在自己设置的临时文件夹（tmp/dfs/）中将data文件夹删除    3、重新启动Hadoop服务就可以了，start-dfs.sh,用jps查看。

4. 启动服务后发现其它正常，DataNode 没起来，有可能是因为 NameNode 数据里的 CID 和DataNode 上的 CID 不一致。 解决方案： 关闭服务，将DataNode里的CID改为NameNode的     CID即可。

5. 执行 yarn 启动命令时，要在指定的 ResourceManager 上启动。否则会发现 ResourceManager    未启动。

6.在确认各配置文件正确后，如果不能正常连接到 HDFS 或 Yarn 平台，尝试更换浏览器，推荐         电脑自带的 ie 浏览器。

二、MapReduce 错误

  以上便是一些简单的常见错误，希望对大家能有所帮助。