一、
hadoop版本2.7.2
hdfs启动正常
主节点启动正常
从节点输入jps查看进程,发现少了datanode(刚启动就被关闭)
输入日志目录: /export/servers/hadoop-2.7.2/logs,
查看日志
日志报错信息:The ServiceName: mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid.
问题:
yarn-site.xml配置:
复制代码
<?xml version="1.0"?>
<configuration>
<property>
<name>yarn.resourcemanager.address</name>
<value>localhost:8032</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce.shuffle</value>
</property>
</configuration>
复制代码
原因:
yarn.nodemanager.aux-services的值在高版本的Hadoop中只能包含a-zA-Z0-9_,不能以数字开头,改为
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>