Spark大数据学习笔记_第4篇_zookeeper集群环境搭建

Spark大数据学习笔记_第4篇_zookeeper集群环境搭建

###1. 安装ZooKeeper包
1、将课程提供的zookeeper-3.4.5-cdh5.3.6.tar.gz使用WinSCP拷贝到sparkproject1的/usr/local目录下。下载地址
2、对zookeeper-3.4.5-cdh5.3.6.tar.gz进行解压缩：

tar -zxvf zookeeper-3.4.5-cdh5.3.6.tar.gz

3、对zookeeper目录进行重命名：

mv zookeeper-3.4.5-cdh5.3.6 zk

4、配置zookeeper相关的环境变量

vi ~/.bashrc
export ZOOKEEPER_HOME=/usr/local/zk
export PATH=$ZOOKEEPER_HOME/bin
source ~/.bashrc

###2. 配置zoo.cfg

cd zk/conf
mv zoo_sample.cfg zoo.cfg

vi zoo.cfg
修改：dataDir=/usr/local/zk/data
新增：
server.0=sparkproject1:2888:3888	
server.1=sparkproject2:2888:3888
server.2=sparkproject3:2888:3888

###3. 设置zk节点标识
文件位置为zoo.cnf文件的配置参数dataDir所配置目录下

cd zk
mkdir data
cd data

vi myid
0

###4. 搭建zk集群
1、在另外两个节点上按照上述步骤配置ZooKeeper，使用scp将zk和.bashrc拷贝到spark2和spark3上即可。

scp 本地文件路径名 远程连接用户名@IP或主机名:保存文件路径
拷贝目录，添加 -r 参数
示例：scp -r zoo.cfg root@spark1:/opt/zk/conf/

2、唯一的区别是spark2和spark3的标识号分别设置为1和2。

###5. 启动ZooKeeper集群
1、分别在三台机器上执行：

zkServer.sh start

2、检查ZooKeeper状态：

zkServer.sh status

应该是一个leader，两个follower
3、jps：检查三个节点是否都有QuromPeerMain进程。