搭建高可用

HA集群安装部署

1 运行环境

1.1 软件环境

三个节点
OS：64位RHEL5及以上或者64位CentOS6.0及以上
JVM：预装64位JDK 1.8及以上版本

1.2 浏览器要求

Firefox 39.0.0版本及以上或者Google Chrome 54.0.2840.8版本及以上。
BEH-Manager-4.1.2安装包于官方网站下载：http://beh.pezy.cn/

2 安装准备

2.1准备虚拟机

准备三个节点的虚拟机（前面讲过怎么配置主、从节点）

2.2 修改主机名

在各个节点执行以下操作来修改主机名，使集群下的主机有格式一个统一的主机名，以便后续的操作和维护。
修改主机名
vi /etc/sysconfig/network

192.168.xx.210  ha01
（其它俩台分别修改自己的ha02  ha03）

修改host映射：

vi /etc/hosts

192.168.xx.210  ha01
192.168.xx.220  ha02
192.168.xx.230  ha03

2.3 关闭防火墙

service iptables stop
chkconfig iptables off

2.4 配置时间同步

yum –y install ntpdate
ntpdate  pool.ntp.org

2.5 配置ssh免秘登录

yum –y install openssh-clients
ssh-keygen –t rsa
ssh-copy-id  ha0x(记得给自己和其它俩台都要发)

3 安装其他组件

3.1 安装zookeeper

注：以下所有安装默认是在ha01上执行！

1. 解压软件包
   将zookeeper-3.4.6.tar.gz 解压缩，
   tar -zxvf zookeeper-3.4.6.tar.gz –C /usr/local/

2. 修改配置文件（在ha01执行）
   修改Zookeeper配置文件/usr/local/zookeeper3.4.6/conf/zoo_sample.cfg重名为zoo.cfg。
   mv zoo_sample.cfg zoo.cfg
   修改zoo.cfg,添加如下内容

   server.1=ha01:2888:3888
   server.2=ha02:2888:3888
   server.3=ha03:2888:3888

3. 创建相关目录
   创建/tmp/zookeeper目录，并在此目录下创建myid文件。
   mkdir /tmp/zookeeper
   cd /tmp/zookeeper
   vi myid
   在文件中写入数字
   1

4. 分发zookeeper软件包

   scp -r /usr/local/zookeeper-3.4.6 ha02:/usr/local
   scp -r /usr/local/zookeeper-3.4.6 ha03:/usr/local

5. 修改myid文件
   到ha2与ha3上重复三步骤，分别把myid修改为2，3

6. 启动Zookeeper
   在ha01，ha02，ha03上执行
   zkServer.sh start
   查看进程QuorumPeerMain是否启动
   jps
   查看zookeeper状态

   zkServer.sh status

出现lead,fllower,fllower为正常

注意：先把hadoop集群正常模式配置一遍，先正常启动后，在 去配制高可用

3.2 安装高可用hadoop

hadoop部分的配置分为两部分hdfs和yarn。

3.2.1 HDFS

1.修改配置文件
修改core-site.xml（如果文件不存在，但是core-site.xml.template文件存在，则先修改文件名，执行mv core-site.xml.template core-site.xml）

vi /usr /local/hadoop-2.7.3/etc/hadoop/core-site.xml

修改为以下内容：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://beh</value>
    <final>false</final>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoopdata</value>
    <f