kafka的一些概念

已于 2022-03-14 17:59:45 修改
阅读量2.7k 收藏
点赞数
分类专栏： 数据结构 存储引擎 文章标签： kafka 分布式 java
于 2022-03-14 16:12:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_30468551/article/details/123481295
版权

kafka

kafka

消费组：一个消费组里包含一个或者多个消费者，一个patition只能被一个消费组里的一个consumer消费
consumer消费patition时是根据offerset来顺序消费的，
这个offerset在旧版里是保存在zookeeper，在新版是保存在kafka内部
当消费组内的consumer启动时，第一个启动的consumer会成为消费组的coordinator
消费组里的消费者会跟消费组里的coordinator发送hearthbeat，以保持consumer自己在线
当消费组内的consumer数量发生变化（譬如某个consumer宕机，增加了某个consumer），或者订阅的patition数量发生了变化，就会触发rebalance
rebalance时，消费组内的所有consumer都会向coordinator发送joinGroup
在consumer加入消费组的时候，coordinator会从中选一个consumer当leader
消费组内的leader负责消费组的消费分配策略，即哪个patition被哪个consumer消费，消费分配策略一旦分配好，就会同步到消费组内的其他consumer，这样其他consumer就知道自己是消费哪些patition

啊狸的Java
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
kafka核心概念
01-07
1.kafka中涉及的名词 2.kafka功能 3.kafka中的消息模型 4.大概流程 1.kafka中涉及的名词 消息记录(record): 由一个key，一个value和一个时间戳构成，消息最终存储在主题下的分区中, 记录在生产者中称为生产者记录...
kafka消费者offset相关设置
lmb09122508的博客
04-11 1万+
1.自动提交offset&手动提交offset自动提交，只需设置"enable.auto.commit"，为"true"即可，"auto.commit.interval.ms",为默认自动提交的时间，一般设为"1000"，单位ms;手动提交，设置"enable.auto.commit"，为"false"。手动提交有两种形式，一种是提交所有订阅的topic，直接在每次消费完成
kafka管理工具
Xlucas的博客
10-16 1704
创建一个xlucas的topic 6个分区 3个副本[hadoop@master bin]$ ./kafka-topics.sh --create --zookeeper 192.168.1.101:2181 --topic xlucas --partitions 6 --replication-factor 3 Created topic "xlucas".包含了Topic各个分区的相关信息[ha
前端学习（914）：offerset和style区别
歌谣的博客
04-21 797
缓存一致性协议-MESI
m0_38017860的博客
02-17 2922
背景带有高速缓存的CPU执行计算的流程程序以及数据被加载到主内存指令和数据被加载到CPU的高速缓存CPU执行指令，把结果写到高速缓存高速缓存中的数据写回主内存高速缓存的数据结构高速缓存的底层数据结构其实是一个拉链散列表的结构，就是有很多的bucket，每个bucket挂了很多的cache entry，每个 cache entry 由三个部分组成：tag 、 cache line 、 flagcache line ：缓存的数据，可以包含多个变量的值tag ：指向了这个缓存数据在主内存的数据的地址flag ：标
kafka offset __consumer_offsets_ 原理/Compact 整理
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
01-29 2448
我们在kafka的log文件中发现了还有很多以__consumer_offsets_的文件夹；总共50个; 由于Zookeeper并不适合大批量的频繁写入操作，新版Kafka已推荐将consumer的位移信息保存在Kafka内部的topic中，即__consumer_offsetstopic，并且默认提供了kafka_consumer_groups.sh脚本供用户查看consumer信息。 __consumer_offsets是 kafka 自行创建的，和普通的 topic 相同。它存在的目的之一...
Kafka框架基础概念
01-20
Kafka 是一个强大的分布式流处理平台，被广泛用于大数据处理领域。它的核心功能是一个高吞吐量、低延迟的消息队列系统，支持发布/...了解并掌握 Kafka 的基本概念和工作原理，对于构建高效、稳定的数据流系统至关重要。
kafka kafka kafka kafka
05-05
提供的资料.zip可能包含Kafka的基本概念、架构、配置等方面的文档，笔记.zip可能包含了学习和使用Kafka的经验总结，而代码.zip可能包含了一些示例代码或者实际项目中使用Kafka的代码片段。这些资源可以帮助你深入...
kafka学习文档(Kafka基本概念、Kafka内部逻辑组成).docx
07-28
【Kafka基本概念】 Kafka是由LinkedIn开发的分布式消息队列系统，后来成为了Apache基金会的顶级项目。它的核心设计目标是提供高吞吐量、低延迟的消息传递能力，适用于处理实时数据流。Kafka通常被描述为一个分布式...
kafka kafka kafka kafka kafka
最新发布
12-18
消费者组是 Kafka 中的一个逻辑概念，每个消费者都属于一个特定的消费者组。消费者组可以实现负载均衡和故障转移，以提高系统的可用性和可扩展性。 Kafka 优势 Kafka 具有很多优势，包括： * 水平扩展：Kafka ...
Kafka 中 topic、partition、offset、replica、ISR 等概念详解
秀强的专栏
05-03 5434
文章目录消息的数据结构topic 和 partition位移（offset）replicaleader 和 followerISR 消息的数据结构 Kafka 中的消息格式由很多字段组成，其中的很多宇段都是用于管理消息的元数据字段，对用户来说是完全透明的。Kafka 消息格式共经历过 3 次变迁，它们被分别称为 VO、V1 和 V2 版本。V1 版本消息的完整格式如下图所示： 消息由消息头部、 key 和 value 组成。消息头部包括消息的 CRC 码、消息版本号、属性、时间戳、键长度和消息体长度等信息
分享复习经验和后台开发面经，Java架构师成长路线
m0_57699613的博客
06-28 160
数据库 1. MySQL 索引使用有哪些注意事项呢？ 可以从三个维度回答这个问题：索引哪些情况会失效，索引不适合哪些场景，索引规则 索引哪些情况会失效 查询条件包含or，可能导致索引失效 如何字段类型是字符串，where时一定用引号括起来，否则索引失效 like通配符可能导致索引失效。 联合索引，查询时的条件列不是联合索引中的第一个列，索引失效。 在索引列上使用mysql的内置函数，索引失效。 对索引列运算（如，+、-、*、/），索引失效。 索引字段上使用（！= 或者 < >，not in）时
（三）TCP、UDP报文段
FixedStar 的博客
03-14 479
一、TCP报文段 源端口、目标端口：计算机上的进程要和其他进程通信是要通过计算机端口的，而一个计算机端口某个时刻只能被一个进程占用，所以通过指定源端口和目标端口，就可以知道是哪两个进程需要通信。源端口、目标端口是用16位表示的，可推算计算机的端口个数为2^16个。序列号：表示本报文段所发送数据的第一个字节的编号。在TCP连接中所传送的字节流的每一个字节都会按顺序编号。由于序列号由32位表示...
kafka----5
m0_46598535的博客
08-07 309
kafka
Kafka知识点汇总
不积跬步，无以至千里；不积小流，无以成江海！
03-13 4344
Kafka相关的文章比较多，且比较杂乱，如果都看完可能需要比较多的时间，本文对相关的关键知识点做一个总结，便于查阅
设计Kafka的High Level Consumer
不积跬步，无以至千里；不积小流，无以成江海！
03-13 3215
原文：https://cwiki.apache.org/confluence/display/KAFKA/Consumer+Group+Example 为什么使用High Level Consumer 在某些应用场景，我们希望通过多线程读取消息，而我们并不关心从Kafka消费消息的顺序，我们仅仅关心数据能被消费就行。High Level 就是用于抽象这类消费动作的。 消息消费已C
kafka的offset manage
lzf的博客
02-14 749
https://cwiki.apache.org/confluence/display/KAFKA/Inbuilt+Consumer+Offset+Management介绍实现内置的消费者offset管理功能有两种方式:1.让消费者创建一个内置的producer示例,并且像生产消息一样发送offsets2.让消费者使用offset commit请求API来提交offsets. 我们让brokers...
kafka的offset理解
weixin_44627989的博客
03-16 3万+
kafka的offset理解 kafka是顺序读写，具备很好的吞吐量。实现原理是 每次生产消息时，都是往对应partition的文件中追加写入，而消息的被读取状态是由consumer来维护的 所以每个partition中offset一般都是连续递增的（如果开启了压缩，因为对旧数据的merge会导致不连续） 被读取的消息并不会删除，所以每次都是追加写入顺序读写，具备很好的吞吐量。 这也是为什么说ka...
Kafka auto.offset.reset值详解
热门推荐
李双喆
07-06 20万+
昨天在写一个java消费kafka数据的实例，明明设置auto.offset.reset为earliest，但还是不从头开始消费，官网给出的含义太抽象了。 earliest: automatically reset the offset to the earliest offset，自动将偏移量置为最早的。难道不是topic中各分区的开始？结果还真不是，具体含义如下：auto.offset.res
"深入理解kafka重要概念及示例
本文介绍了Kafka的相关重要概念及使用示例，以及幂等性、事务性、分区的leader和follower、消息可靠性和限速机制等方面的内容。先介绍了Kafka的重要概念，包括broker、zookeeper等。一个Kafka集群由多个broker组成，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

啊狸的Java

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值