hadoop2.x完全分布式安装配置

   在搭建环境之前我们先看下本次搭建的各角色：

nameNode 进程：NameNode

dataNode  进程：DataNode

resourceManager ：ResourceManager

nodeManeger ： NodeManager

zkfc：DFSZKFailoverController

journalnode： JournalNode

zookeeper： QuorumPeerMain

一.准备

我的IP:

192.168.93.3 Master

192.168.93.2 Slave1

192.168.93.4 Slave2

192,168.93.5 Slave3

下面我们来对上述IP进行配置：

在每台机子进行如下IP配置：

1.修改主机名

命令:vim /etc/sysconfig/network 

2.修改IP设置静态IP

先将几台机子的机器都设置为NET模式,然后键入下面命令

命令：vim /etc/sysconfig/network-scripts/ifcfg-eth0

格式为：

红色的为需要修改的，这里需要注意，我们通过虚拟机的设置中来找到MAC地址：

3.配置主机名和IP的映射关系，每个机器都是这样一个文件

 命令：vim /etc/hosts

4.关闭防火墙

service iptables stop

#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off

5.配置各个节点之间的免登陆

二． 各节点安装JDK，hadoop

Master，Slave1，Slave2上安装zookeeper

1)上传jdk,hadoop,zoookeeper

2)解压，我把他们解压到/usr/local/下面：

 

3)各个节点配置环境变量

命令： vim /etc/profile

针对我自己的路径如下图：

 

然后执行  source /etc/profile 使其生效。

三．配置Haddoop

基本要配置4个配置文件，core-site.xml，hdfs-site.xml，yarn-site.xml，mapred-site.xml。

1.配置core-site.xml

 

2.配置hdfs-site.xml

 

3.配置yarn-site.xml

 

4.配置mapred-site.xml

 

四．启动hadoop集群

1.启动zookeeper集群(hadoop1,hadoop2,hadoop3上执行)

执行 ： zkServer.sh start

2.启动hadoop集群

执行：start-all.sh