linux虚拟机安装hadoop集群（hadoop-2.7.5）

一台机器作为namenode节点 及resourcemanager节点，两台机器作为datanode节点及nodemanager节点。

1、配置三台服务器的/etc/hosts，或者使用DNS服务器。

2、三台机器安装jdk1.8.0_102及配置好环境变量。

3、创建系统用户。

4、配置免密码登陆。

5、解压hadoop压缩包，并在 hadoop目录下，建立tmp、hdfs/name、hdfs/data目录

6、修改 hadoop-env.sh，指定 JAVA_HOME

7、修改 core-site.xml

<property>

<name>fs.default.name</name>

<value>hdfs://master.spark.com:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/cooljack/hadoop-2.7.5/tmp</value>

</property>

8、修改hdfs-site.xml

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/home/cooljack/hadoop-2.7.5/hdfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:/home/cooljack/hadoop-2.7.5/hdfs/data</value>

</property>

9、修改mapred-site.xml

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

10、修改slaves

slave1.spark.com

slave2.spark.com

11、把hadoop文件目录同步到其他节点。

12、格式化bin/hdfs namenode -format

13、运行sbin/start-all.sh

14、访问地址：

http://192.168.136.11:50070/

http://192.168.136.11:8088/