kafka消息格式

本文介绍了Kafka日志消息格式的三个重要版本:v0、v1和v2。v0包含日志头部和消息记录,占26字节;v1新增了timestamp字段;v2移除crc,增加length、timestampdelta、offsetdelta,引入headers,并通过消息集压缩提高存储效率。
摘要由CSDN通过智能技术生成

       我们都知道,kafka是以日志文件的方式来存储kafka消息的,日志消息的格式不仅关系功能维度 的扩展,还牵涉性能维度的优化。如果格式不恰当,会导致消息的大小偏大,占用内存更高


       kafka经历了多代的演变,这里只讲重要的3代,v0、v1、v2版本


       v0版本

       v0版本的日志消息,分为两个部分,一个是由offset、message size组成的日志头部、下面的部分称为消息record(记录)

      

crc32 :校验值。校验范围为magic至value 之间

magic :消息格式版本号 此版本的magic值为0

attributes :消息的属性。总共占1个字节,低3位表示压缩类型:0表示
NONE 无压缩,1表示GZIP ,2表示SNAPPY,3表示LZ4 。其余位保留。

keylength :表示消息的 key 的长度。如果为key为-1,则表示没有设置 key ,即key= null

key :可为null 如果没有 key 则无此宇段。

valuelength :实际消息体的长度。如果为-1,则表示消息为空。

value 
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值