Kafka压缩详解

若文章对你有帮助请点个👍👍👍, 表示对我的鼓励, 非常感谢 ❤️❤️❤️

概括

需要理解kafka压缩则需要理解Kafka的存储格式.

Kafka存储格式

RecordBatch

baseOffset: int64
batchLength: int32
partitionLeaderEpoch: int32
magic: int8 (current magic value is 2)
crc: int32
attributes: int16
    bit 0~2:
        0: no compression
        1: gzip
        2: snappy
        3: lz4
        4: zstd
    bit 3: timestampType
    bit 4: isTransactional (0 means not transactional)
    bit 5: isControlBatch (0 means not a control batch)
    bit 6~15: unused
lastOffsetDelta: int32
firstTimestamp: int64
maxTimestamp: int64
producerId: int64
producerEpoch: int16
baseSequence: int32
records: [Record]

Record

length: varint
attributes: int8
    bit 0
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Kafka的offset是用来标识消息在分区中的位置的。每个分区都有一个对应的offset,用于记录消费者已经读取的消息位置。当消费者消费消息后,会向Kafka的broker中的一个专门维护每个消费者offset的topic发送一条消息,记录自己当前已读的消息的offset+1的值作为新的offset的消息。这样,下次消费者继续消费时,就可以从上次消费的位置继续读取消息。\[1\] Kafka的分区数据在磁盘上划分为多个segment,每个segment由索引文件和数据文件两个文件组成。每个segment文件根据设定的配置,最多存储相同大小的消息。每一个segment的文件都以自己文件里存储的第一消息的上一个offset作为文件名,这样可以更加灵活地分片存储以及快速查找。\[2\] Kafka将不同分区放到不同的broker上,其中一台作为leader,其他为isr(in-sync replicas)或者不在isr中。Kafka的leader负责写入消息,isr的其他成员异步地去同步这些消息。当isr中的所有成员都成功同步了这条消息时,这条消息对于消费端才可见。Kafka使用一个高水位(high watermark)来表示消费者所能读取到的最大的下一个offset。当leader接收到消息后,会先判断isr中成员的offset,如果不是最大+1,代表isr中有成员还没有接收到这条消息,则不会更改高水位。只有当isr中的每台机器的offset都比leader大1时,leader才会更新高水位,并将更新高水位的消息发送给isr中的follower。如果有follower宕机,会被剔除出isr,所以最坏情况下也会将所有follower都剔除,只对自己更新高水位。其他broker在重新加入集群后再同步消息。\[3\] #### 引用[.reference_title] - *1* *2* *3* [kafka的offset理解](https://blog.csdn.net/weixin_44627989/article/details/104891945)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值