kafka
文章平均质量分 82
simanstar
后台开发
展开
-
kafka相关博客
kafka必知必会系列原始博客:Kafka最全面试题整理|划重点要考_朱小厮的博客-CSDN博客原创 2022-03-17 02:42:34 · 1671 阅读 · 0 评论 -
Kafka消费组重平衡的流程
前面说过了重平衡,它的作用是让组内所有的消费者实例就消费哪些主题分区达成一致。重平衡需要借助KafkaBroker 端的 Coordinator 组件,在Coordinator 的帮助下完成整个消费者组的分区重分配。在给我们带来的便利和一些问题。这篇来分析一下重平衡的整个流程。1.触发条件 大体的触发条件有下面三个 1. 组成员数量发生变化。 2. 订阅主题数量发生变化。 3. 订阅主题的分区数发生变化。 1 2 3 上一篇文章也提到过这些。一般对于生产环境来说订阅主题数量发生变化和订阅分区..原创 2022-03-16 22:59:10 · 516 阅读 · 0 评论 -
Kafka体系架构详细分解
基本概念 Kafka 体系架构 Kafka 体系架构包括若干 Producer、若干 Broker、若干 Consumer,以及一个 ZooKeeper 集群。 在 Kafka 中还有两个特别重要的概念—主题(Topic)与分区(Partition)。 Kafka 中的消息以主题为单位进行归类,生产者负责将消息发送到特定的主题(发送到 Kafka 集群中的每一条消息都要指定一个主题),而消费者负责订阅主题并进行消费。 主题是一个逻辑上的概念,它还可以细分为多个分区,一个分区只属于单个主题,很多原创 2021-05-09 14:09:50 · 260 阅读 · 0 评论 -
深入理解Kafka必知必会(3)
Kafka中的事务是怎么实现的? Kafka中的事务可以使应用程序将消费消息、生产消息、提交消费位移当作原子操作来处理,同时成功或失败,即使该生产或消费会跨多个分区。 生产者必须提供唯一的transactionalId,启动后请求事务协调器获取一个PID,transactionalId与PID一一对应。 每次发送数据给<Topic, Partition>前,需要先向事务协调器发送AddPartitionsToTxnRequest,事务协调器会将该<Transaction, Topic原创 2021-05-09 14:07:26 · 346 阅读 · 0 评论 -
深入理解Kafka必知必会(2)
Kafka目前有哪些内部topic,它们都有什么特征?各自的作用又是什么? __consumer_offsets:作用是保存 Kafka 消费者的位移信息 __transaction_state:用来存储事务日志消息 优先副本是什么?它有什么特殊的作用? 所谓的优先副本是指在AR集合列表中的第一个副本。 理想情况下,优先副本就是该分区的leader 副本,所以也可以称之为 preferred leader。Kafka 要确保所有主题的优先副本在 Kafka 集群中均匀分布,这样就保证了所有分区的 le原创 2021-05-09 14:05:59 · 305 阅读 · 0 评论 -
深入理解Kafka必知必会(1)
Kafka的用途有哪些?使用场景如何? 消息系统: Kafka 和传统的消息系统(也称作消息中间件)都具备系统解耦、冗余存储、流量削峰、缓冲、异步通信、扩展性、可恢复性等功能。与此同时,Kafka 还提供了大多数消息系统难以实现的消息顺序性保障及回溯消费的功能。 存储系统: Kafka 把消息持久化到磁盘,相比于其他基于内存存储的系统而言,有效地降低了数据丢失的风险。也正是得益于 Kafka 的消息持久化功能和多副本机制,我们可以把 Kafka 作为长期的数据存储系统来使用,只需要把对应的数原创 2021-05-09 14:04:10 · 193 阅读 · 0 评论