zookeeper和kafka的理解

最新推荐文章于 2024-08-05 16:12:12 发布

wxiaoxiaowu

最新推荐文章于 2024-08-05 16:12:12 发布

阅读量252

点赞数

文章标签： zookeeper kafka java

原文链接：https://blog.csdn.net/config_differ/article/details/123827858?spm=1001.2014.3001.5501

版权

本文介绍了Zookeeper作为一个分布式协调服务的角色，包括其集群中的Leader和Follower角色，以及选举过程。Zookeeper提供了高性能、高可靠性的服务，并增强了集群稳定性。接着解释了Kafka是一个分布式消息系统，专注于快速、可扩展且分布式的日志存储。通过实验展示了在单个集群上创建和共享消息的过程。实验总结强调了配置文件server.properties的重要性。

摘要由CSDN通过智能技术生成

zookeeper和kafka的理解

config_differ

于 2022-03-29 21:43:52 发布

1773

文章标签： zookeeper kafka

本文链接： https://blog.csdn.net/config_differ/article/details/123827858

版权

Zookeeper是什么

ZooKeeper 翻译一下就是 “动物园管理员”，他是一些管动物的管理员，关于他的名字来源给你们找来了，可以看看。

关于“ZooKeeper”这个项目的名字，其实也有一段趣闻。在立项初期，考虑到之前内部很多项目都是使用动物的名字来命名的(例如著名的Pig项目),雅虎的工程师希望给这个项目也取一个动物的名字。时任研究院的首席科学家RaghuRamakrishnan开玩笑地说：“在这样下去，我们这儿就变成动物园了!”此话一出，大家纷纷表示就叫动物园管理员吧一一一因为各个以动物命名的分布式组件放在一起，雅虎的整个分布式系统看上去就像一个大型的动物园了，而Zookeeper正好要用来进行分布式环境的协调一一于是，Zookeeper的名字也就由此诞生了。

如果用官方的说法就是ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务。它是一个为分布式应用提供一致性服务的软件.

ZooKeeper集群的角色

ZooKeeper提供服务时，是需要通过集群来实现，ZooKeeper集群中有一个leader，多个follower角色，其中leader提供写服务，follower提供读服务。

角色分类如下图所示：

系统模型如图所示：

下图这个就是我们实操最后会出现的结果：


     
     
       
       
        
        
       
       
       
       
        
        
         
         [root@zookeeper1 bin]
         
         # ./zkServer.sh status
        
        
       
       

       
       
        
        
       
       
       
       
        
        
         
         ZooKeeper JMX enabled 
         
         by 
         
         default
        
        
       
       

       
       
        
        
       
       
       
       
        
        
         
         Using config: 
         
         /root/zookeeper-3.4.14/bin/../conf/zoo.cfg
        
        
       
       

       
       
        
        
       
       
       
       
        
        
         
         Mode: follower
        
        
       
       

       
       
        
        
       
       
       
       
        
        
         
         [root@zookeeper2 bin]
         
         # ./zkServer.sh status
        
        
       
       

       
       
        
        
       
       
       
       
        
        
         
         ZooKeeper JMX enabled 
         
         by 
         
         default
        
        
       
       

       
       
        
        
       
       
       
       
        
        
         
         Using config: 
         
         /root/zookeeper-3.4.14/bin/../conf/zoo.cfg
        
        
       
       

       
       
        
        
       
       
       
       
        
        
         
         Mode: leader
        
        
       
       

       
       
        
        
       
       
       
       
        
        
         
         [root@zookeeper3 bin]
         
         # ./zkServer.sh status
        
        
       
       

       
       
        
        
       
       
       
       
        
        
         
         ZooKeeper JMX enabled 
         
         by 
         
         default
        
        
       
       

       
       
        
        
       
       
       
       
        
        
         
         Using config: 
         
         /root/zookeeper-3.4.14/bin/../conf/zoo.cfg
        
        
       
       

       
       
        
        
       
       
       
       
        
        
         
         Mode: follower

再简单说一下我理解的zookeeper Leader的选举

就好比：我们每个参加的人发出一个投票投给自己，然后我们接受来自每个人的投票，统计一下，看一下是否是有效的投票，针对每一个投票，我们都需要将别人的投票和自己的投票进行PK，如果最后票数相同的话，谁先发起的投票就把leader给谁。

Zookeeper的作用

1.Zookeeper实现了高性能，高可靠性，和有序的访问。

2.加强了集群稳定性。

3.等等。

Kafka是什么

Kafka是分布式发布-订阅消息系统。

kafka集群存储的消息是以topic为类别记录的

Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。

实验总结

实验的目的就是在一台机子上创建文件，虽然在一台机子上创建的文件，但是其他有关联的两台机子也可以查看到消息，例如如下：


     
     
       
       
        
        
       
       
       
       
        
        
         
         [root@zookeeper1 
         
         bin]
         
         #  ./kafka-topics.sh --create --zookeeper 192.168.200.11:2181 --replication-factor 1 --partitions 1 --topic test
        
        
       
       

       
       
        
        
       
       
       
       
        
        
         
         Created topic 
         
         "test".
        
        
       
       

       
       
        
        
       
       
       
       
        
        
         
         [root@zookeeper2 
         
         bin]
         
         # ./kafka-topics.sh  --list --zookeeper 192.168.200.12:2181
        
        
       
       

       
       
        
        
       
       
       
       
        
        
         
         Test
        
        
       
       

       
       
        
        
       
       
       
       
        
        
         
         [root@zookeeper3 
         
         bin]
         
         # ./kafka-topics.sh  --list --zookeeper 192.168.200.13:2181
        
        
       
       

       
       
        
        
       
       
       
       
        
        
         
         test