confluence启动不起来_Kafka可以不依赖Zookeeper独立使用吗？

海牛学院的 | 第 604 期

本文预计阅读 |   6  分钟

本文的主要目的是说明为什么要切断Apache Zookeeper和Kafka之间的桥梁。此外，这里提出的解决方案旨在使Kafka完全独立地提供目前Zookeeper所能提供的全部功能。 1. Zookeeper和Kafka各自的基本功能 Zookeeper在分布式环境中的管理和协调方面可以充当杠杆，以管理更大的主机集。在大型集群中这是非常棘手且复杂的问题，因为连接了更多数量的节点，并且需要按需水平扩展。例如，一个Hadoop集群一旦数据量增加，新的DataNodes插件就会插入，需要在数据块上进行更多的复制的等等。  除了Hadoop，它还用于其他Apache项目中，例如HBase，Solr，CXF DOSGi等。Zookeeper在分布式协调服务中起着关键作用，并被用于存储共享配置、选举主节点等用例中。为了实现同步、序列化和协调，Zookeeper将分布式系统作为一个单元保持在一起以简化操作。Zookeeper负责解决竞赛情况、死锁、分布式应用程序中的部分故障问题。Zookeeper的序列化使用同步属性消除了集群中的争用条件，随后便消除了死锁问题。 Kafka是一个企业信息系统，具有构建用于实时流传输的数据管道功能。Apache Kafka起源于LinkedIn，后来在2011年成为开源Apache项目。此外，Kafka以容错的方式存储记录数据流。一般来说，没有Kafka任何与大数据相关的项目都无法完成，因为Kafka通过分布式发布订阅模型来处理HDFS中的数据摄取。 Kafka在一个或多个服务器上作为群集运行，并将数据流存储在主题中，然后最终通过Flume或其他自定义应用程序被HDFS使用。通过结合Kafka的三个主要功能，即消息系统、存储系统和流处理，将其指定为分布式流平台。

2.为什么Kafka目前没有Zookeeper不能独立工作？

经纪人是Kafka集群的骨干，并负责从生产者到消费者的接收，存储和发送消息。它是Kafka集群中的一个实例。简而言之，经纪人组通过直接或间接共享信息来创建Kafka集群。但是如果没有Zookeeper，群集中的每个代理都无法执行此操作。此外，生产者还利用Zookeeper来查找经纪人的信息，并将其发布到各处。 同样，消费者也需要经纪人的消费信息。实际上，位于代理内部的主题接受生产者和消费者从中读取的消息。Kafka将基本元数据存储在Zookeeper中，例如主题、Kafka集群实例列表、消息使用者等。 Zookeeper成为Kafka更新集群中拓扑更改的领导者。根据Zookeeper提供的通知，生产者和消费者发现整个Kafka群集中是否存在任何新代理或代理失败。随后，生产者和消费者决定与哪些经纪人进行通信以开始他们的任务。因此，如果我们在没有Zookeeper的情况下安装和配置Kafka，Kafka的任何功能都不会激活。因此，最终我们可以说Kafka是Zookeeper的寄生虫。

3.Kafka与Zookeeper的陷阱

Zookeeper完全是一个独立的系统，具有自己的配置文件语法、管理工具和部署模式。要管理和部署两个独立的分布式系统，并最终启动和运行Kafka集群，必须具有丰富的经验。同时管理两个系统的人员应具有足够的故障排除信息，以找出两个系统中的问题。  可能会使Zookeeper的配置文件出错，从而导致Kafka群集崩溃。因此，在没有Zookeeper的情况下拥有Kafka管理专业知识将无法帮助你摆脱危机，尤其是在Zookeeper在完全隔离的环境(云)上运行的生产环境中。即使设置和配置用于学习和研发的单节点Kafka集群，我们也离不开Zookeeper。

4.没有Zookeeper的Kafka拟议高级架构

在Kafka群集中引入控制器仲裁将取代Zookeeper的依赖关系。目前，Kafka集群中的一个代理通过担负管理分区、副本、管理任务(如重新分配分区)的职责而充当控制器。在提出的体系结构中，运行控制器的节点将承担管理元数据日志的额外责任。 Kafka与Zookeeper解体 Kafka与Zookeeper解体 注意：以上两张图片均来自https://cwiki.apache.org/confluence/display/KAFKA/KIP 这些日志将包含有关群集元数据中每个更改的信息。当前，Zookeeper存储从主题、分区、ISR、配置开始的所有内容。通过利用Raft算法并且不依赖任何外部系统，控制器节点将在他们之间选择一个领导者。元数据日志的领导者将被表示为活动控制器。 总结 以上就是今天的内容了，如果对你有帮助，希望你能够关注、点赞、转发一键三连支持一下。 需要完整学习线路和配套课堂笔记，请后台回复【学习线路、笔记、思维导图】，更多技术干货请在后台回复【技术论坛】。

---

备注 “ 进群 ” (广告勿扰)

【海牛大数据交流群】

 要点赞，要在看 ↓↓↓