最近这段时间因为工作需要安装了hadoop+hbase集群,在安装的过程中总结了以下一些常见的问题,供大家参考。
一、问题1
ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed.
1. 删除/tmp下hadoop 有关系的东西目录及文件(如果/tmp 下没有重要东西,可以 rm –fr /tmp/*)
2. $ /home/hadoop/hadoop/bin/hadoop namenode –format
问题二、问题2
1. 请检查namenode & datanode 的配置文件conf/mapred-site.xml conf/core-site.xml 里是否出现localhost ,这样会存在解析不到地址,需要改成主机名,我这里将localhost修改master,重启服务,出现下图为正常
三、问题3:
无法打开http://10.1.1.4:50070 页面上的Browse the filesystem,其他的正常
这是因为访问时候会跳转到node1 & node2(使用域名而不是ip访问)机器上,需要关闭node1& node2 iptables后并在本地添加hosts记录(即:要用那台机子访问就在那台机子添加)
10.1.1.3 master
10.1.1.4 node1
10.1.1.10 node2
四、问题4
INFO org.apache.hadoop.ipc.RPC: Server at localhost/127.0.0.1:9000 not available yet, Zzzzz...
1.先清空tmp目录下的所有文件。因为每次namenode format会重新创建一个namenodeId,而tmp/dfs/data下包含了上次format下的id,namenode format清空了namenode下的数据,但是没有清空datanode下的数据,导致启动时namespaceIDs不一致
2.执行 bin/hadoop namenode -format
3.执行 bin/start-all.sh
五、问题5
hbase 的管理页面http://10.1.1.3:60010打不开
看日志提示应该是hadoop的安全模式问题
执行/home/hadoop/hadoop/bin/hadoop dfsadmin -safemode leave 退出安全模式,然后重启hbase即可
六、问题6
ERROR org.apache.hadoop.hbase.master.HMasterCommandLine: Failed to start master
java.lang.RuntimeException: HMaster Aborted
七、问题7
could only be replicated to 0 nodes, instead of 1
hosts配置文件中 namnode 对应的是127.0.0.1 datanode访问不了namenode的9000端口