Hadoop-HA集群安装部署

HA高可用集群安装部署

1 运行环境

1.1 软件环境

三个节点及以上
OS：64位RHEL5及以上或者64位CentOS7.0及以上
JVM：预装64位JDK 1.8及以上版本

1.2 浏览器要求

Firefox 39.0.0版本及以上或者Google Chrome 54.0.2840.8版本及以上。

2 安装准备

2.1 准备虚拟机

准备三个节点的虚拟机

2.2 修改主机名

在各个节点执行以下操作来修改主机名，使集群下的主机有格式一个统一的主机名，以便后续的操作和维护。
修改主机名（便于后续操作）

hostnamectl set-hostname ‘ha001’
hostnamectl set-hostname ‘ha002’
hostnamectl set-hostname ‘ha003’

修改玩后重启生效

192.168.20.111 ha001 作为namenode的active节点
192.168.20.112 ha002 作为namenode的standby节点
192.168.20.113 ha003 作为datanode节点

修改host映射

vi /etc/hosts

添加集群映射

192.168.20.111 ha001
192.168.20.112 ha002
192.168.20.113 ha003

2.3 关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

2.4 配置时间同步

yum –y install ntpdate

ntpdate pool.ntp.org

2.5 配置免密登录

先删除原来配置的免密（三台）

rm -rf /root/.ssh

重新配置免密登录

ssh-keygen

ssh-copy-id ha001

ssh-copy-id ha002

ssh-copy-id ha003

记得给自己和其它两台都要同时发

2.6 安装JDK

参照本专栏前面的Hadoop详细集群搭建一文（记得配置环境变量）

3 安装其它组件

3.1 安装Zookeeper

参照本专栏前面的Zookeeper实战技能一文
之前已经安装的记得修改/usr/local/zookeeper-3.4.6/conf/下的zoo.cfg文件：
（因为主机名修改，映射也要修改）

然后启动Zookeeper
在ha001、ha002、ha003下都要执行

cd /usr/local/zookeeper-3.4.6/

bin/zkServer.sh start

bin/zkServer.sh status

出现lead,fllower,fllower为正常
注意：先把Hadoop集群正常模式配置一遍，先正常启动后，在
去配制高可用

3.2 安装高可用Hadoop

Hadoop部分的配置分为两部分HDFS和YARN

3.2.1 HDFS

1.修改配置文件
修改core-site.xml

vi core-site.xml

修改为以下内容：

<configuration>
<!-- 指定hdfs的nameservice为beh -->
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://beh</value>
    <final>false</final>
  </property>
<!-- 指定hadoop临时目录 -->
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop-2.7.3/tmp</value>
    <final>false</final>
  </property>
<!-- 指定zookeeper地址 -->
  <property>
    <name>ha.zookeeper.quorum</name>
    <value>ha001:2181,ha002:2181,ha003:2181</value>
    <final>false</final>
  </property>
</configuration>

修改hdfs-site.xml

vi hdfs-site.xml

修改为以下内容：

<configuration>
<!--指定hdfs的nameservice为beh，需要和core-site.xml中的保持一致 -->
  <property>
    <name>dfs.nameservices</name<