2019年08月_WQ同学

原创 Kafka学习之旅(十四):消费者组的消费进度监控

对于 Kafka 消费者来说，监控它们的消费进度非常的重要，或者说是监控它们消费的滞后程度。这个滞后程度有个专门的名称：消费者 Lag 或 Consumer Lag。所谓滞后程度，就是指消费者当前落后于生产者的程度。比方说，Kafka 生产者向某主题成功生产了 100 万条消息，你的消费者当前消费了 80 万条消息，那么我们就说你的消费者滞后了 20 万条消息，即 Lag 等于 20 万。通常来...

2019-08-27 07:17:59 1353

转载 Kafka学习之旅(十三):消费组重平衡的流程

前面说过了重平衡，它的作用是让组内所有的消费者实例就消费哪些主题分区达成一致。重平衡需要借助 Kafka Broker 端的 Coordinator 组件，在Coordinator 的帮助下完成整个消费者组的分区重分配。在给我们带来的便利和一些问题。这篇来分析一下重平衡的整个流程。1.触发条件大体的触发条件有下面三个1. 组成员数量发生变化。2. 订阅主题数量发生变化。3. 订阅主题的分...

2019-08-26 07:36:35 651

原创 Kafka学习之旅(十二):消费组重平衡问题

在介绍消费者的时候提到了消费者重平衡，这个机制的设计给我们提供了高可用，自动负载等等的便利。但是同时也带来了一些问题本篇来分析一下这个问题。1. Rebalance 影响 Consumer 端 TPS。Rebalance 就是让一个 Consumer Group 下所有的 Consumer 实例就如何消费订阅主题的所有分区达成共识的过程。在 Rebalance 过程中，所有 Consumer ...

2019-08-25 16:56:42 499

原创 Kafka学习之旅(十):消费者如何管理TCP协议

在前面我们介绍了生产者使用TCP协议通信，本篇主要介绍消费者消费者的通信机制，其实Kafka 消费者的通信机制和生产者是一致的都是基于TCP协议。那么本文就来介绍一下Kafka是如何管理消费者的通信的。1. 如何创建TCP 连接我们先从如何创建消费者连接开始讨论。消费者程序的主要入口是KafkaConsumer. 和生产者不同的是消费者在被创建的时候是不会创建任何TCP连接的。也就是在创建消费...

2019-08-25 15:53:56 447

原创 Kafka学习之旅(十一): 消费组

前两章讲述比较重要的一个特性就是Kafka 的消费位移其中包含位移的含义，位移的发展史和位移的提交方式。本文接下来继续讲述另外一个特性那就是消费组。分组消费时Kafka 一个比较具有亮点的一个特性，那什么时消费组呢大概就是：Kafka 提供的可扩展且具有容错性的消费者机制。那么这里既然提到了组的概念。此时你可能想到这个是一个多个消费者的集合。没错答案就是这样子的。多个消费者共用一个Gro...

2019-08-04 11:28:00 223

转载 Kafka学习之旅(九):位移提交

上文中主要介绍了Kafka 的消费位移从Zookeeper 转移到了自己管理。本文主要介绍一下位移的提交方式。Consumer 需要向 Kafka 汇报自己的位移数据，这个汇报过程被称为提交位移。因为 Consumer 能够同时消费多个分区的数据，所以位移的提交实际上是在分区粒度上进行的，即Consumer 需要为分配给它的每个分区提交各自的位移数据。提交位移主要是为了表征 Consumer ...

2019-08-02 00:05:18 300

u012957549的博客