hadoop集群遇到的奇怪问题

安装Hadoop-2.8.0集群问题整理

原因：主机名与ip映射出现问题，导致其它节点找不到namenode。主机名不能带有下划线。

 

问题描述：使用start-all.sh启动后，使用jps查看没有namenode进程。其它节点也没有datenode进程。

Log中报错（namenode）

java.lang.IllegalArgumentException: Does not contain a valid host:port authority: HadoopFlume_1:9000

Log中报错（datenode）

java.io.IOException: Incorrect configuration: namenode address dfs.namenode.servicerpc-address or dfs.namenode.rpc-address is not configured.

 

1， java环境良好。

2， vi /etc/hosts 主机名与Ip映射没有问题。可以ping通

3， 修改配置文件vi slaves

HadoopFlume_1 HadoopFlume_2 HadoopFlume_3

 

4， 修改hadoop-env.sh

export JAVA_HOME=/usr/local/jdk1.8.0_152

 

5， 修改core-sitem.xml

<configuration>   <property> <name>fs.defaultFS</name> <value>hdfs://HadoopFlume_1:9000/</value> </property>   <property> <name>hadoop.tmp.dir</name> <value>/root/hdptmp/</value> </property>   </configuration>

 

 

6， 修改hdfs-site.xml

<configuration> <property> <name>dfs.namenode.name.dir</name> <value>/root/hdp-data/name/</value> </property>   <property> <name>dfs.datanode.data.dir</name> <value>/root/hdp-data/data/</value> </property>   </configuration>

 

7，vi /etc/profile

export JAVA_HOME=/usr/local/jdk1.8.0_152 export HADOOP_HOME=/usr/local/hadoop-2.8.0 export HADOOP_CONF_DIR=/usr/local/hadoop-2.8.0/etc/hadoop/ export PATH=.:$PATH:$JAVA_HOME/bin/:$HADOOP_HOME/bin:$HADOOP_HOME/sbin