hadoop集群搭建过程中遇到的问题

在安装配置Hadoop集群的过程中遇到了很多问题，有些是配置导致的，有些是linux系统本身的问题造成的，现在总结如下。

1. hdfs namenode -format出现错误：hdfs namenode format cannot load main class

请检查环境变量HADOOP_HOME的设置是否正确，通常基于文件/etc/profile

2. sbin/start-dfs.sh 启动dfs过程中出现错误： call to localhost/127.0.0.1:9000 failed on connection exception

请查看log中启动的namenode的ip与预期的是否一致，如果不一致，需要注释掉/etc/hosts中localhost和:::1部分

3. 使用jps命令发现没有namenode的进程

请参考第二个问题，并进行解决

4. 使用lsof -i:9000命令发现9000端口没有被监听

请参考第二个问题，并进行解决

5. 不能访问hdfs://master:9000

请参考第二个问题，并进行解决

6. 配置ssh免密码登录的时候不能成功

请使用root账号进行操作

7. 环境变量到底放在哪里？/etc/bashrc, /etc/profile, ~/.bashrc, ~/.profile

前面两个是全局的，一般情况下hadoop相关的配置需要放在这里；

后面两个是user based的，并且可以重写前面两个中相同的环境变量，建议用户级别的放在这里。

 

转载于:https://www.cnblogs.com/allanli/p/hadoop_errors_when_installing.html