先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前阿里P7
深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年最新大数据全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
如果你需要这些资料,可以添加V获取:vip204888 (备注大数据)
正文
+ - [1、配置zoo.cfg](#1zoocfg_81)
- [2、创建 Zookeeper 的ID](#2_Zookeeper_ID_126)
+ [七、配置 Zookeeper 环境变量](#_Zookeeper__150)
+ [八、测试安装结果](#_165)
+ - [1、启动 Zookeeper](#1_Zookeeper_167)
- [2、停止Zookeeper](#2Zookeeper_184)
- [3、查看 Zookeeper状态](#3_Zookeeper_190)
- [3、查看 Zookeeper数据](#3_Zookeeper_205)
+ [九、配置文件](#_218)
+ [十、注意问题](#_275)
一、Zookeeper 是什么
官方地址:https://www.apache.org/dyn/closer.lua/zookeeper
- ZooKeeper 是一个开源的分布式协调服务,它提供了一个高性能的、可靠的分布式环境,用于协调和管理分布式应用程序的配置、状态和元数据信息。
- ZooKeeper 旨在解决分布式系统中的一致性和协调问题。它提供了一个简单的文件系统层次结构,类似于标准文件系统,但是用于存储和管理分布式应用程序的数据(注意他的主要作用不是用来存数据)。
- ZooKeeper 主要特性
- 分布式协调:ZooKeeper 提供了一套原语,如锁、队列、同步和通知机制,用于分布式应用程序之间的协调和同步。
- 高性能:ZooKeeper 的设计目标之一是提供低延迟和高吞吐量的访问性能,以满足高负载的分布式应用程序的需求。
- 可靠性:ZooKeeper 使用了一致性协议(ZAB)来确保数据的一致性和可靠性。它采用主从架构,支持自动故障恢复和数据冗余,以提供高可用性和可靠性。
- 容错性:ZooKeeper 允许在集群中部署多个服务器实例,以提供容错性。即使有部分服务器故障,ZooKeeper 仍然可以继续正常运行,保持服务的可用性。
- ZooKeeper 应用方向:分布式锁、配置管理、集群管理、分布式队列等。
二、准备工作:主机准备
- 要安装Zookeeper至少需准备2N+1台主机,我这里使用3台虚拟主机测试,如下:
主机 | id | 名称 | IP |
---|---|---|---|
第一台Zookeeper主机 | 1 | zookeeper1 | 192.168.8.51 |
第二台Zookeeper主机 | 2 | zookeeper2 | 192.168.8.52 |
第三台Zookeeper主机 | 3 | zookeeper3 | 192.168.8.53 |
三、准备工作:JDK 安装
- 自行下载JDK8的安装包,官方地址:https://www.oracle.com/java/technologies/downloads/#java8
rpm -i jdk-8u381-linux-x64.rpm
vi /etc/profile
export JAVA\_HOME=/usr/java/default
export PATH=$PATH:$JAVA\_HOME/bin
source /etc/profile
- 注意:3台主机都要安装配置
四、下载 Zookeeper
- 使用wget下载
yum install wget -y
wget https://dlcdn.apache.org/zookeeper/zookeeper-3.8.2/apache-zookeeper-3.8.2-bin.tar.gz
-
注意地址可能会有变动,请自行到官方网站下载:apache-zookeeper-3.8.2-bin.tar.gz
- 下载地址:https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.8.2/apache-zookeeper-3.8.2-bin.tar.gz
-
注意:3台主机都要下载,也可以在一台上配置好后使用scp命令复制过去。
五、安装 Zookeeper
- 解压下载包
tar zxvf apache-zookeeper-3.8.2-bin.tar.gz
- 把解压文件夹移动到指定目录
mv apache-zookeeper-3.8.2-bin /opt/zookeeper-3.8.2
- 注意:3台主机都要安装,也可以在一台上配置好后使用scp命令复制过去。
六、配置 Zookeeper 参数
1、配置zoo.cfg
- 复制一份新的配置文件 zoo.cfg
cd zookeeper-3.8.2/conf
cp zoo_sample.cfg zoo.cfg
- 修改zoo.cfg配置项
vi zoo.cfg
# zookeeper 数据目录
dataDir=/var/zookeeper
# 3台服务器的配置
# 这里可以使用IP,也可以使用主机名,但使用主机名时要配置好hosts文件。
server.1=192.168.8.51:2888:3888
server.2=192.168.8.52:2888:3888
server.3=192.168.8.53:2888:3888
-
可以先配置一台,完成后使用scp命令复制
- 格式为:scp -r zookeeper-3.8.2/ root@192.168.8.52:
pwd
- 也可以分别在三台主机上配置。
- 格式为:scp -r zookeeper-3.8.2/ root@192.168.8.52:
-
创建 Zookeeper 数据目录
mkdir -p /var/zookeeper
-
注意
- 3台主机都要配置,也可以在一台上配置好后使用scp命令复制过去。
- 这个配置里面每个server后面有一个数字,这个数字是有用的,第二会用到,要注意对应关系。
2、创建 Zookeeper 的ID
- 这里的值要与zoo.cfg中配置的server一致。
- 第一台 192.168.8.51
echo 1 > /var/zookeeper/myid
- 第二台 192.168.8.52
echo 2 > /var/zookeeper/myid
- 第三台 192.168.8.53
echo 3 > /var/zookeeper/myid
七、配置 Zookeeper 环境变量
- 将zookeeper添加到环境变量是为了使用方便,但不是必须的。
vi /etc/profile
export ZOOKEEPER\_HOME=/opt/zookeeper-3.8.2
export PATH=$PATH:$ZOOKEEPER\_HOME/bin
source /etc/profile
八、测试安装结果
1、启动 Zookeeper
**网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。**
**需要这份系统化的资料的朋友,可以添加V获取:vip204888 (备注大数据)**
![img](https://img-blog.csdnimg.cn/img_convert/a61f268e2001b5b253da8890a5385862.png)
**一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**
上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。**
**需要这份系统化的资料的朋友,可以添加V获取:vip204888 (备注大数据)**
[外链图片转存中...(img-D490kbxd-1713116923442)]
**一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**