hadoop2.7分布式最简单配置

2019独角兽企业重金招聘Python工程师标准>>>

1、在所有机器中的/etc/hostname设置机器名

2、在所有机器中的/etc/hosts设置机器名转IP的解析

3、在所有机器中的/etc/environment设置JAVA_HOME

4、在所有机器中设置SSH免密码访问

5、hadoop的配置文件core-site.xml

<configuration>

  <property>

    <name>fs.default.name</name>

    <value>hdfs://ubuntu:9000</value>

  </property>

</configuration>

6、hadoop的配置文件hdfs-site.xml，并新建这两个数据文件夹

<configuration>

  <property>

    <name>dfs.namenode.name.dir</name>

    <value>file:/home/xiechao/tools/hadoop-2.7.4/data/namenode</value>

  </property><property>

    <name>dfs.datanode.data.dir</name>

    <value>file:/home/xiechao/tools/hadoop-2.7.4/data/datanode</value>

  </property>

</configuration>

7、slaves中加上所有机器的名称

8、拷贝hadoop到各台机器

9、在一台初始化并启动hadoop

bin/hadoop namenode -format

sbin/start-dfs.sh

sbin/start-yarn.sh

10、UI

NameNode 50070

ResourceManager 8088

MapReduce JobHistory Server 19888

转载于:https://my.oschina.net/airxiechao/blog/1517389