最近忽然要把大数据跟我们对接的项目接回来我们自己维护,不得不自己搭建一个大数据的集群环境,用来运行该项目。因此记录一下集群环境的搭建,免得以后需要再搭建。
一、架构说明
本次基于zookeeper-3.4.12.tar版本进行分布式配置。在此设置一个主节点和两个从节点。
准备3台虚拟机,分别为:
主机名 | IP地址 |
master | 192.168.0.41 |
slave1 | 192.168.0.42 |
slave2 | 192.168.0.75 |
本章节是记录Zookeeper的搭建,后续会记录Hbase、Scala、Kafka、Spark、Hadoop、Hive等的搭建,都是基于该环境的,一主两从模式的。
已经在/home下创建了hadoop文件夹,用来存放各种安装的软件。
下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/,这是我找的一个镜像服务器地址
二、搭建步骤
1、将zookeeper-3.4.12.tar上传到/home/hadoop下并解压,tar -zxvf zookeeper-3.4.12.tar.gz
2、配置环境变量,vim /etc/profile
export JAVA_HOME=/usr/jdk1.8.0_161
export ZOOKEEPER_HOME=/home/hadoop/zookeeper-3.4.12
PATH=$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin
修改后生效 source /etc/profile
3、配置zoo.cfg
cd zookeeper-3.4.12/conf
mv zoo_sample.cfg zoo.cfg
修改zoo.cfg配置,vim zoo.cfg
dataDir=/home/hadoop/zookeeper-3.4.12/data
server.0=master:2888:3888
server.1=slave1:2888:3888
server.2=slave2:2888:3888
4、在home/hadoop/zookeeper-3.4.12下建立目录data,在data目录下建立文件myid,内容写0
5、使用scp将zookeeper-3.4.12,scp -r /home/hadoop/zookeeper-3.4.12 root@192.168.0.75:/home/hadoop,
scp -r /home/hadoop/zookeeper-3.4.12 root@192.168.0.42:/home/hadoop,
注意:slave1的data/myid里面写1,slave2的myid是2,master的是0
同时将/etc/profile拷贝到slave1、slave2上,或者将配置内容拷贝过去,然后记得source /etc/profile
6、启动zookeeper,进入home/hadoop/zookeeper-3.4.12/bin
分别在两台机器上执行:./zkServer.sh start
检查ZooKeeper状态:./zkServer.sh status,出现以下任何一个图则代表已经启动了