七张图了解kafka基本概念

消息队列

---

消息队列顾名思义就是存储消息的一个队列，消息生产者(producer) 往消息队列中投放消息， **消费者(consumer)**读取消息队列中的内容。在消息队列中的每条消息都会有个位置，就好比数组中的下标(index)，在kafka中我们称之为offset。对于生产者而言，有个特殊的offset——LEO(log end offset) ，指向的是消息队列中下一个将被存放消息的位置。

这里重点说下消费者(consumer)，一个消息队列当然可以被多个消费者(consumer)读取，每个消费者(consumer)都有唯一一个group-id将其区分开来。kafka也会记录下来每个消费者(consumer)已经读到哪个位置了(offset)。

问：为什么消费者消费的offset是由kafka记录，而不是由消费者自己记录？

主题(Topic)

---

上文我们以一份数据为例，讲了什么是消息队列。如果有多份数据（多个队列）该怎么办？ 也很简单，kafka中我们可以使用不同的**主题(Topic)**将不同的数据区分开。不同的生产者(producer)可以往不同的Topic中存放数据，不同的消费者(consumer)也可以从不同的Topic中读取数据。

分区(Partation)

---

当一份数据非常大的情况下怎么办？ 当然是考虑拆分了。在kafka中，你可以设置将一个主题(Topic)拆分成多个不同的分区(Partation)，然后以分区(Partation)的维度来管理、生产和消费数据。 拆分带来最明显的好处就是提升吞吐性能，多个分区(Partation)之间并行，互不干扰。 至于怎么拆分，kafka有提供几个默认分区策略 轮询、随机、hash，当然你可以自己实现自己的分区策略，这里就不过多展开了。

消费者组(Consumer-group)

---

主题(Topic)做完分区以后，消费者如何消费？ 这里就不得不提到消费者组(Consumer-group)的概念，在kafka中，为了保证数据的一致性，同一个分区(Partation)同时只能被一个消费者(consumer)实例消费，为了提升消费者(consumer)的吞吐量，一般都会设置多个消费者(consumer)实例来消费不同的分区(Partation)，这些实例共同组成一个消费者组(Consumer-group) ，他们共用一个Group-id。

注意：

1. 由于同一个分区(Partation)同时只能被一个消费者(consumer)实例消费，所以超过分区(Partation)数量的消费者(consumer)实例个数没有任何意义，多余的消费者(consumer)实例也会被闲置。

2. 如果消费者组(Consumer-group) 中有实例发生变化（上下线），或者分区(Partation)数量发生变化，都会触发消费者组rebalence。

副本(Replication)

---

kafka如何解决数据高可用的问题？在分布式环境下，要想保证数据尽可能不丢失，唯一的方法就是多复制几份放到不同的机器上，复制出来的数据就叫做副本(Replication)。

这里有几个关键词。 HW： high-water，一个特殊的offset，只有在这个offset以下的消息才能被消费者(consumer)读到，高水位的具体值取决于主从副本数据同步的状态，这里不再展开。 ISR: in-sync-replica，处于同步状态的副本集合，是指副本数据和主副本数据相差在一定返回（时间范围或数量范围）之内的副本，当然主副本肯定是一直在ISR中的。 当主副本挂了之后，新的主副本将从ISR中被选出来接替它的工作。

OSR: 和IRS相对应 out-sync-replica，其实就是指那些不在ISR中的副本。

副本主从同步

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）

最后

我还通过一些渠道整理了一些大厂真实面试主要有：蚂蚁金服、拼多多、阿里云、百度、唯品会、携程、丰巢科技、乐信、软通动力、OPPO、银盛支付、中国平安等初，中级，高级Java面试题集合，附带超详细答案，希望能帮助到大家。

还有专门针对JVM、SPringBoot、SpringCloud、数据库、Linux、缓存、消息中间件、源码等相关面试题。

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！
5146)]

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！