CentOS7.0下Hadoop2.7.3的集群搭建

 

集群服务器规划

使用3台CentOS-6.8虚拟机进行集群搭建

服务	ip	主机名称	用户	HDFS	YARN
hadoop1	192.168.1.40	hadoop1	root	NameNode,Datenode,SecondaryNameNode	ResourceManager,NodeManager,
hadoop2	192.168.1.39	hadoop2	root	Datenode	NodeManager
hadoop3	192.168.1.38	hadoop3	root	Datenode	NodeManager

 

软件安装步骤概述

1、获取安装包

2、解压缩和安装

3、修改配置文件

4、初始化，配置环境变量，启动，验证

 

Hadoop安装

1、规划

规划安装用户：root

规划安装目录：/home/hadoop/apps

规划数据目录：/home/hadoop/data

注：apps和data文件夹需要自己单独创建

2、上传解压缩

#wget http://archive.apache.org/dist/hadoop/core/hadoop-2.6.5/hadoop-2.6.5-src.tar.gz

   #tar -zxf hadoop-2.6.5-src.tar.gz -C /usr/local/src/

3、修改配置文件

配置文件目录：/use/local/src/hadoop-2.6.5/etc/hadoop

A.　hadoop-env.sh

[hadoop@hadoop1 hadoop]$ vi hadoop-env.sh

修改JAVA_HOME

export JAVA_HOME=/usr/local/jdk1.8.0_73

B.　core-site.xml

[hadoop@hadoop1 hadoop]$ vi core-site.xml

fs.defaultFS ： 这个属性用来指定namenode的hdfs协议的文件系统通信地址，可以指定一个主机+端口，也可以指定为一个namenode服务（这个服务内部可以有多台namenode实现ha的namenode服务

hadoop.tmp.dir : hadoop集群在工作的时候存储的一些临时文件的目录

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hadoop1:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/hadoop/data/hadoopdata</value>
        </property>
</configuration>

 

 

C.　hdfs-site.xml

[hadoop@hadoop1 hadoop]$ vi hdfs-site.xml

 dfs.namenode.name.dir：namenode数据的存放地点。也就是namenode元数据存放的地