hadoop高可用集群环境搭建

作者：贺圣军，叩丁狼高级讲师。原创文章，转载请注明出处。

1 环境介绍

• 系统:CentOS6.8 64位系统
• jdk:jdk-8u171-linux-x64
• Zookeeper:zookeeper-3.4.12
• hadoop:hadoop-2.6.5

2 基本环境配置

因为是使用vmware虚拟环境进行hadoop集群的安装,使用的是Apache版本的Hadoop集群环境搭建,使用三台虚拟机开始搭建环境,本次使用的网络模式是NAT,相关配置

主机名	IP地址
lab301	192.168.158.231
lab302	192.168.158.232
lab303	192.168.158.233

2.1 基本软件的安装

在进行搭建集群环境之前,请先确保完成以下操作(可以先lab301上进行相关配置,然后克隆出lab302 lab303)

• 确定关闭防火墙iptables和selinux安全控制
• 确定主机名和IP地址
• 修改/etc/host文件,保证可以使用对应的主机名访问服务器
• 安装好wget软件 yum install -y wget
• 安装好jdk,并且配置好环境变量JAVA_HOME
• ssh服务端和客户端的安装(yum install -y openssh.x86_64 openssh-clients.x86_64 openssh-server.x86_64)
• 配置三个服务器ssh之间的免密登录操作
• 配置服务器的时间同步,配置所有节点的NTP服务
• 所有的操作都是使用root用户执行

2.2 zookeeper集群配置

对于zookeeper的集群的服务器使用单节点数量(2n+1),我们这里直接使用lab301 lab302 lab303这三个服务器,可以现在lab301配置好,然后拷贝到其他服务器即可

登录到lab301服务器

[root@lab301 soft]# cd /root/soft
[root@lab301 soft]# pwd
/root/soft
[root@lab301 soft]# wget http://mirrors.shu.edu.cn/apache/zookeeper/zookeeper-3.4.12/zookeeper-3.4.12.tar.gz
[root@lab301 soft]# mkdir -p /app/zookeeper  #级联创建文件目录/app/zookeeper
# 解压文件到 /app/zookeeper
# -C 解压到指定目录
# --strip-components=1  解压的时候去掉解压出来的第一个目录
[root@lab301 soft]# tar -zxvf zookeeper-3.4.12.tar.gz  -C /app/zookeeper/ --strip-components=1
[root@lab301 zookeeper]# cd /app/zookeeper/conf
# 重命名配置文件
[root@lab301 conf]# mv zoo_sample.cfg zoo.cfg
[root@lab301 conf]# vi zoo.cfg

# 心跳检查间隔时间2s
tickTime=2000
# 集群服务器中所有服务器之间的同步的时间限制的心跳数,如果在10个心跳周期内没有一半的集群服务器完成同步,那么会重新进行leader的选举
initLimit=10
# 值在5个心跳周期内如果follower没有从leader同步完成数据,那么对于follower会进行重启操作
syncLimit=5
# 数据的存放目录
dataDir=/app/zookeeper/data/
# 集群配置 server.1 第一个服务器
# lab301:2888:3888 第一个个是主机名称,2888是服务器之间进行数据传输的端口 3888 是服务器选举机制使用的端口
server.1=lab301:2888:3888
server.2=lab302:2888:3888
server.3=lab303:2888:3888
# 客户端连接端口
clientPort=2181

配置完zoo.cfg,然后需要在数据存放目录/app/zookeeper/data/