大数据----【Zookeeper集群搭建】

安装前需要安装好jdk

安装JDK之前是需要删除openjdk

1. 卸载openjdk

rpm -qa|grep java
rpm -e --nodeps xxxxxxxxxxxxxxxxxxx
一次性全删除
rpm -e --nodeps java-1.6.0-openjdk-1.6.0.35-1.13.7.1.el6_6.x86_64 java-1.7.0-openjdk-1.7.0.79-2.5.5.4.el6.x86_64 tzdata-java-2015e-1.el6.noarch

2. 安装JDK

mkdir -p /export/servers  软件安装(将压缩包放到里面,然后解压到该文件夹下,然后删除压缩包)
mkdir -p /export/software 安装包
mkdir -p /export/data     数据存放

安装JDK

安装在export/servers即可

配置环境变量

vi /etc/profile

在最后添加
export JAVA_HOME=/export/servers/jdk1.8.0_65
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

重启profile

source /etc/profile

查看版本即可

java -version

拷贝到其他机器

拷贝jdk到其他机器:
scp -r /export/servers/jdk1.8.0_65/ root@node-2:/export/servers
拷贝配置文件到其他机器
scp -r /etc/profile root@node-2:/etc

tips: 注意冒号后面不要有空格!!!

3. 检测集群时间是否同步

网络同步：

yum install ntpdate
ntpdate cn.pool.ntp.org

4. 检测防火墙是否关闭

chkconfig iptables --list (查找)
chkconfig iptables off(关闭)

5. 检测主机 ip映射有没有配置

vi /etc/hosts
192.168.244.151 node-1
192.168.244.152 node-2
192.168.244.153 node-3

6. SSH免密登录

• 创建密钥ssh-keygen按四下回车即可
• 将公钥拷贝给其他机器ssh-copy-id node-2
• 将公钥拷贝给自己ssh-copy-id node-1
  • 当机器以ssh登录的时候是以单独进程登录的,包括登录自己都需要密码验证
• 每台机器都需要做同样的操作即可

7. 安装zookeeper

下载安装包、解压

tar -zxvf zookeeper-3.4.5.tar.gz
mv zookeeper-3.4.5 zookeeper (重命名)

修改环境变量（注意：3台zookeeper都需要修改）

vi /etc/profile
export ZOOKEEPER_HOME=/export/servers/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin
source /etc/profile

修改Zookeeper配置文件

cd zookeeper/conf
//复制配置文件并改名为zoo.cfg
cp zoo_sample.cfg zoo.cfg
//重命名
mv zoo_sample.cfg zoo.cfg
vi zoo.cfg

修改内容：

dataDir=/export/data/zkdata

添加内容 :

server.1=node-1:2888:3888     ## (心跳端口、选举端口)
server.2=node-2:2888:3888
server.3=node-3:2888:3888

创建文件夹：

cd /export/data
mkdir dir zkdata

在data文件夹下新建myid文件，myid的文件内容为：

cd zkdata
echo 1 > myid

查看是否配置了myid cat /export/data/zkdata/myid

分发安装包到其他机器

scp -r /export/servers/zookeeper root@node-2:/export/servers/
scp -r /export/servers/zookeeper root@node-3:/export/servers/

修改其他机器的配置文件

修改myid文件
到node-2上：修改myid为：2 cd zkdata echo 2 > myid
到node-3上：修改myid为：3 cd zkdata echo 3 > myid

启动

/export/servers/zookeeper/bin/zkServer.sh statrt

查看状态

/export/servers/zookeeper/bin/zkServer.sh status

8. 一键脚本启动（每台机器）

vi startZk.sh
或者编写一个脚本来批量启动所有机器：

for host in {node-1,node-2,node-3}
do
   ssh $host "source /etc/profile;/export/servers/zookeeper/bin/zkServer.sh start"
done

增加权限chmod u+x startZk.sh

tips: 当ssh远程登录其他机器的时候,并不能自己加载机器的环境变量 , 因此需要在shell脚本中手动加载环境变量 , 然后再去执行其他操作 .

对于java程序 , 启动的时候需要加载jdk , 关闭的时候直接关闭进程即可

9. 一键脚本关闭

vi stopZk.sh

for host in {node-1,node-2,node-3}
do
   ssh $host "/export/servers/zookeeper/bin/zkServer.sh stop"
done

增加权限chmod u+x stopZk.sh

tips : 关闭的时候不需要java环境的支持.

可以自己写一个一键查看zookeeper的启动状态的shell程序.

10. 查看集群状态

jps（查看进程）是jdk自带的命令 , 用于显示当前机器所有正在运作中的java进程

QuorumPeerMain就是zk运行时的进程名字

zkServer.sh status（查看集群状态，主从信息）

如果启动不成功，可以观察zookeeper.out日志，查看错误信息进行排查

---

配置文件中参数说明:

tickTime这个时间是作为zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是说每个tickTime时间就会发送一个心跳。

initLimit这个配置项是用来配置zookeeper接受客户端（这里所说的客户端不是用户连接zookeeper服务器的客户端,而是zookeeper服务器集群中连接到leader的follower 服务器）初始化连接时最长能忍受多少个心跳时间间隔数。

当已经超过10个心跳的时间（也就是tickTime）长度后 zookeeper 服务器还没有收到客户端的返回信息,那么表明这个客户端连接失败。总的时间长度就是 10*2000=20秒。

syncLimit这个配置项标识leader与follower之间发送消息,请求和应答时间长度,最长不能超过多少个tickTime的时间长度,总的时间长度就是5*2000=10秒。

dataDir顾名思义就是zookeeper保存数据的目录,默认情况下zookeeper将写数据的日志文件也保存在这个目录里；

clientPort这个端口就是客户端连接Zookeeper服务器的端口,Zookeeper会监听这个端口接受客户端的访问请求；

server.A=B:C:D中的A是一个数字,表示这个是第几号服务器,B是这个服务器的IP地址，C第一个端口用来集群成员的信息交换,表示这个服务器与集群中的leader服务器交换信息的端口，D是在leader挂掉时专门用来进行选举leader所用的端口。

---

JDK配置环境变量

export JAVA_HOME=/root/apps/jdk1.8.0_65
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar