三节点高可用集群搭建——Hadoop-HA+zookeeper

• 目录

  HDFS -HA模式的工作机制示意图

  集群规划——三节点高可用

  Hadoop HA集群搭建

  前期准备

  创建新的虚拟机

  配置虚拟机

  克隆虚拟机

  配置环境变量，刷新（master、slave1、slave2都配置一下环境变量）

  安装zookeeper集群

  配置文件

  拷贝文件

  拷贝jdk、zookeeper到slave1和slave2节点

  修改02和03节点的myid

  安装hadoop集群

  配置文件

  修改JAVA_HOME 在hadoop-env.sh yarn-env.sh mapred-env.sh 中

  core-site.xml

  hdfs-site.xml

  mapred-site.xml

  yarn-site.xml

  slaves

  拷贝文件到其他节点

  删除hadoop目录中share目录下的doc文档

  设置免密

  将配置好的hadoop拷贝到其他节点

  启动集群

  同步时间

  启动zookeeper集群

  启动journalnode

  格式化namenode

  格式化zkfc

  启动HDFS

  启动yarn

  jps查看进程

  查看网页

  测试

  上传文件到HDFS

  验证HA模式

  杀死namenode进程

  重启namenode进程

  杀死namenode上的ZKFC

  关闭集群：

  二次启动

  ---

• HDFS -HA模式的工作机制示意图

 

说明：

1.在hadoop2.0中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步active namenode的状态，以便能够在它失败时快速进行切换。

hadoop2.0官方提供了两种HDFS HA的解决方案，一种是NFS，另一种是QJM。这里我们使用简单的QJM。在该方案中，主备NameNode之间通过一组JournalNode同步元数据信息，一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode

这里还配置了一个zookeeper集群，用于ZKFC（DFSZKFailoverController）故障转移，当Active NameNode挂掉了，会自动切换Standby NameNode为active状态.

 

2.hadoop-2.2.0中依然存在一个问题，就是ResourceManager只有一个，存在单点故障，hadoop-2.6.4解决了这个问题，有两个ResourceManager，一个是Active，一个是Standby，状态由zookeeper进行协调

• 集群规划——三节点高可用

主机名	IP	安装软件	运行进程
master	192.168.8.101	jdk、hadoop、zookeeper	NameNode、DFSZKFailoverController(zkfc) ResourceManager DataNode、NodeManager JournalNode、QuorumPeerMain
slave1	192.168.8.102	jdk、hadoop、zookeeper	NameNode、DFSZKFailoverController(zkfc) ResourceManager DataNode、NodeManager JournalNode、QuorumPeerMain
slave2	192.168.8.103	jdk、hadoop、zookeeper	DataNode、NodeManager JournalNode、QuorumPeerMain

• Hadoop HA集群搭建

  1. 前期准备

     1. 创建新的虚拟机

     2. 配置虚拟机

        • 配置网卡
        • 虚拟网络编辑器、本地网络配置器
        • 重启网卡，ping内外网
        • CRT连接虚拟机，修改编码格式、字体、背景
        • 修改主机名
        • 配置映射（3台节点）
        • 关闭防火墙

     3. 克隆虚拟机

        • 克隆slave1，slave2
        • slave1，slave2 修改网卡(IP)
        • 重启网卡，ping内外网
        • CRT连接虚拟机，修改编码格式、字体、背景
        • 修改主机名
        • 检查映射（3台节点）
        • 检查防火墙
        • 上传JDK、hadoop、zookeeper（主节点）

配置环境变量，刷新（master、slave1、slave2都配置一下环境变量）

export JAVA_HOME=/opt/software/jdk1.8.0_162

export HADOOP_HOME=/opt/software/hadoop-2.7.3

export ZOOKEEPER_HOME=/opt/software/zookeeper-3.4.6

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin

 

安装zookeeper集群

server.ID=host:port:port ID就是myid文件中配置的数字。下面会有介绍 第一个端口（ port ）是从（ follower ）机器连接到主（ leader ）机器的端口， 第二个端口是用来进行 leader 选举的端口。 每台机器使用三个端口，分别是： clientPort ，2181 ； port ， 2888 ； port ， 3888 。

配置文件

cd /opt/software/zookeeper-3.4.6/conf/

cp zoo_sample.cfg zoo.cfg

vi zoo.cfg

dataDir=/opt/software/zookeeper-3.4.6/zkData

dataLogDir=/opt/software/zookeeper-3.4.6/logs

server.1=master:2888:3888

server.2=slave1:2888:3888

server.3=slave2:2888:3888

mkdir /opt/software/zookeeper-3.4.6/zkData

mkdir /opt/software/zookeeper-3.4.6/logs

echo 1 > /opt/software/zookeeper-3.4.6/zkData/my

1. 拷贝文件

   1. 拷贝jdk、zookeeper到slave1和slave2节点

scp -r jdk1.8.0_162/ slave1:$PWD

scp -r zookeeper-3.4.6/ slave1:$PWD

 

scp -r jdk1.8.0_162/ slave2:$PWD

scp -r zookeeper-3.4.6/ slave2:$PWD