Hadoop集群搭建所遇到的一些问题

1.命令找不到

环境变量配置的不正确.

2.权限问题

2.1 /home/hadoop目录权限

2.1 创建完hadoop用后/home/hadoop目录权限问题.

/home/Hadoop

2.2 秘钥文件权限

1.如下图的提示，是当前hadoop用的公钥没有添加到认证文件中去

解决方法:将node1节点上的hadoop用户的公钥添加到认证文件中
[hadoop@node1 ~]$ chmod -R 755 .ssh/
[hadoop@node1 ~]$ cd .ssh/
[hadoop@node1 .ssh]$ chmod 644 *
[hadoop@node1 .ssh]$ chmod 600 id_rsa
[hadoop@node1 .ssh]$ chmod 600 id_rsa.pub
[hadoop@node1 .ssh]$

[hadoop@node1 .ssh]$cat id_rsa.pub >> authorized_keys //hadoop用户的公钥添加到认证文件中

此问题如果在node2和node3两个节点出现在的也需要按照node1节点上的解决方法解决。

2.如下图的权限问题,
Chmod:changing permissions
Chmod:changing permissions of .ssh / : Operation not permitted

2.3 hadoop安装目录权限

1.如下图目录不能创建

2.4 秘钥认证问题

cat id_rsa.pub >> authorized_keys 命令和ssk-copy –I 主机名等命令执行了多次，如果出现如下的情况，请将重复的秘钥删除下，一般删除早先出现的公钥内容.

3.配置问题

配置中需要注意逗号，分号，大于号，小于号的英文输入形态. 

解决办法:

<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>

4.虚拟机问题

4.1客户端操作系统禁用CPU

https://www.cnblogs.com/diyunpeng/p/3886532.html

5.集群问题

5.1 datanode问题

Hadoop Overview显示Livenode为0
https://blog.csdn.net/972301/article/details/62422737

错误原因


查看防火墙是否关闭,防火墙没有关闭也会导致这样的问题.

集群clusterid不一致问题

原因分析:
这个问题总要由于不消息进行了多次格式化(hdfs namenode -format)操作导致的，一个hadoop集群只能在安装时格式化一次.

解决办法：
将集群DataNode下的clusterid修改成和Namenode的clusterid一致即可，然后重启集群.
编辑/opt/bigdata/hadoop-3.1.2/hadoop/hdfs/data/current

5.2 namenode问题

不能启动，一般是同学忘记进行格式化.和hadoop安装目录权限没有设置导致格式化不能成功.

5.3 hadoop配置复制问题

5.4 集群操作问题

5.5 格式化问题

namenode多次格式化操作导致集群启动后再datanode的日志文件中有如下提示,naemnode clusterID和datanode clusterID不一致的问题.

解决方法:修改datanode的clusterID和namenode clusterID一致
/opt/bigdata/hadoop-3.1.2/hadoop/hdfs/data/current

6.系统安装问题

6.1 虚拟机IP配置问题

1.) IPADDR ------经常出现拼写错误
2.）GATEWAY —经常出现拼写错误
3.) NETMASK ----经常出现拼写错误

经常出现拼写错误,导致执行systemctl restart network命令启动网卡时失败.

6.2 虚拟机出问题，重新安装本机操作系统.
6.3 电脑硬件bois中的虚拟化支持禁用
解决方法:
需要根据电脑的型号百度相应设置bois虚拟化支持的博客，按照博客自行解决.
ERROR org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: RECEIVED SIGNAL 15: SIGT

重新搭建Hadoop集群，一切配置就绪后，启动集群后，在Master和所有的Slave节点上通过JPS命令都可以看到集群应该启动的进程都已经启动了。通过50070端口也可以查看到所有DataNode处于Live状态，而且可以正常往HDFS上传下载文件。
但是在8088端口查看不到任何Nodes的信息，提交任务到集群，任务一直卡在Accepted状态。
通过查看日志发现提示如下错误：
2016-03-15 15:51:01,740 ERROR org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: RECEIVED SIGNAL 15: SIGTERM
2016-03-15 15:51:01,743 ERROR org.apache.hadoop.security.token.delegation.AbstractDelegationTokenSecretManager: ExpiredTokenRemover received java.lang.InterruptedException: sleep interrupted
2016-03-15 15:51:01,743 INFO org.mortbay.log: Stopped HttpServer2$SelectChannelConnectorWithSafeStartup@0.0.0.0:8088
2016-03-15 15:51:01,744 ERROR org.apache.hadoop.security.token.delegation.AbstractDelegationTokenSecretManager: ExpiredTokenRemover received java.lang.InterruptedException: sleep interrupted
2016-03-15 15:51:01,744 ERROR org.apache.hadoop.security.token.delegation.AbstractDelegationTokenSecretManager: ExpiredTokenRemover received java.lang.InterruptedException: sleep interrupted
解决方法：在yarn-site.xml添加如下配置参数:
即：指定yarn.resourcemanager.hostname为Master节点的IP。

<property>
     <name>yarn.resourcemanager.hostname</name>
     <value>192.168.0.100</value>
</property>