Spark项目实战-ZooKeeper集群安装

ZooKeeper官网地址：http://zookeeper.apache.org/

cdh版ZooKeeper下载地址：http://archive.cloudera.com/cdh5/cdh/5/

ZooKeeper 是一个开源的分布式协调服务，由雅虎创建，是 Google Chubby 的开源实现。 分布式应用程序可以基于 ZooKeeper 实现诸如数据发布/订阅、负载均衡、命名服务、分布式协 调/通知、集群管理、Master 选举、配置维护，名字服务、分布式同步、分布式锁和分布式队列 等功能。

一 下载

首先我们需要下载对应版本的tar.gz。

二 上传

使用WinSCP将刚刚下载的tar.gz上传到sparkproject1的/usr/local下。

三 解压 

使用tar -zxvf zookeeper-3.4.5-cdh5.3.6.tar.gz命令解压，并使用mv命令将其重命名，然后删除tar.gz包。

四 配置环境变量

 vi /etc/profile，配置完之后，我们使用source命令生效配置文件。

五 配置zoo.cfg

六 设置zk节点标识

七 搭建zk集群 

1、在另外两个节点上按照上述步骤配置ZooKeeper，使用scp将zk和/etc/profile拷贝到sparkproject2和sparkproject3上即可。

2、唯一的区别是sparkproject2和sparkproject3的标识号分别设置为1和2。

# 拷贝
scp -r zk root@sparkproject2:/usr/local
scp -r /etc/profile root@sparkproject2:/etc
# 修改sparkproject2节点的myid
vi myid

# 同理我们搭建sparkproject3即可
# 注意：我们需要用source命令生效配置文件

八 启动ZooKeeper集群

1、分别在三台机器上执行：zkServer.sh start。

2、检查ZooKeeper状态：zkServer.sh status，应该是一个leader，两个follower。

3、jps：检查三个节点是否都有QuromPeerMain进程。

最后，其实博主在启动ZooKeeper的时候，碰到过启动失败的情况。想说的是，碰到失败要知道怎么入手，怎么去找解决办法。但最重要的第一步是先看日志。默认ZooKeeper日志输入路径为启动ZooKeeper服务的路径。