kafka 发布订阅_在Kafka中发布订阅模型

最新推荐文章于 2024-07-26 11:14:21 发布

dnc8371

最新推荐文章于 2024-07-26 11:14:21 发布

阅读量4.1k

点赞数

文章标签： java python kafka 大数据数据库

原文链接：https://www.javacodegeeks.com/2016/05/publish-subscribe-model-kafka.html

版权

本文探讨了Kafka的工作原理，特别是其发布-订阅模型，包括消费者群体的概念，以及在Kafka 0.8版本中如何使用高级消费者来实现特定分区的订阅。文章通过与简单消费者和新消费者的对比，阐述了为何选择高级消费者，并介绍了如何借助Akka Event Bus来过滤和分发消息。

摘要由CSDN通过智能技术生成

kafka 发布订阅

这是第四个柱中的一系列关于同步客户端集成与异步系统（ 1， 2， 3 ）。在这里，我们将尝试了解Kafka的工作方式，以便正确利用其发布-订阅实现。

卡夫卡概念

根据官方文件：

Kafka是一种分布式的，分区的，复制的提交日志服务。它提供消息传递系统的功能，但具有独特的设计。

Kafka作为集群运行，这些节点称为代理。代理可以是领导者或副本，以提供高可用性和容错能力。代理负责分区，分区是存储消息的分发单元。这些消息是有序的，可以通过名为offset的索引进行访问。一组分区构成一个主题，是消息的提要。分区可以具有不同的使用者，并且它们使用自己的偏移量访问消息。生产者将消息发布到Kafka主题中。 Kafka文档中的以下图表可以帮助您理解这一点：