kafka 系列 -- 7.1、日志存储

最新推荐文章于 2024-01-10 16:35:14 发布
最新推荐文章于 2024-01-10 16:35:14 发布
阅读量232 收藏
点赞数
分类专栏： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32880923/article/details/109003113
版权
本文详细介绍了Kafka的日志文件布局，包括__consumer_offset存储消费位移。接着深入探讨了日志存储格式的V0、V1、V2版本，各个版本的消息格式、属性和压缩机制。最后讨论了消息的压缩与解压缩时机，以及可能触发重新压缩的情况。
摘要由CSDN通过智能技术生成

文章目录

1、日志文件布局

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

__consumer_offset 存储着消费者提交的消费位移

2、日志存储格式

V0

在这里插入图片描述

消息格式

  • offset:
    每一条消息都有一个 offset 用来标志它在分区中的偏移量，offset 是逻辑值，而非实际物理偏移量

  • message_size:
    表示消息的大小

  • crc32(4B):
    crc32 校验值。校验范围为 magic 至 value 之间

  • magic(1B):
    消息格式版本号，V0 固定为 0

  • attributes(1B):
    消息的属性。总共占1个

最低0.47元/天 解锁文章
不能放弃治疗
关注
专栏目录
图解Kafka的RecordBatch结构
石臻臻的杂货铺(szzdzhp001)
05-22 2309
文章目录RecordBatchRecordBatch初始化写入消息Record结构图关闭ProducerBatch关闭输出流appendStream并压缩数据填充RecordBatchHeader数据RecordBatchHeader结构图RecordBatch整体结构图 阅读完本文你大概会获得以下知识 什么时候执行消息的压缩操作 RecordBatch结构图 RecordBatch 我们之前有讲过生产者的ProducerBatch, 这个RecordBatch跟ProducerBatch的区别是什么呢
Kafka-Flink整合原理与代码实例讲解
AI天才研究院
05-29 85
Apache Kafka是一个分布式的流式处理平台,最初由LinkedIn公司开发,后来被顶级开源项目Apache软件基金会所收录。它被广泛应用于大数据领域,用于构建实时数据管道和流应用程序。Kafka的核心设计理念是为了实现高吞吐量、低延迟、高可扩展性和持久化的分布式日志服务。Kafka采用了分区(Partition)和复制(Replication)的设计,实现了高度的可靠性和可伸缩性。
kafka协议-RecordBatch
chuiyan0987的博客
08-01 743
介绍 RecordBatch是包含许多record的集合。RecordBatch继承了Iterable<Record>接口，提供了遍历Record的方法. AbstractRecordBatch AbstractRecordBatch继承了RecordBatch，并且实现了以下的方...
Kafka源码分析之RecordBatch
weixin_33725722的博客
04-10 251
RecordBatch是Kafka中Producer中对批量记录的一个封装，它表示正在或将要被发送的一批记录。这个类不是线程安全的，当修改它时必须使用外部同步。RecordBatch中的成员变量如下： // 记录数目recordCount public int recordCount = 0; // ...
zk-src-5.0.7.1(zk源码)
08-16
1. **数据模型**：Zookeeper的数据模型类似于文件系统，由一系列的节点（ZNode）构成，每个ZNode都可以存储数据并有子节点。ZNode分为持久化节点和临时节点，前者在创建后不会因为客户端断开连接而消失，后者则会。 ...
基于Kafka-Zookeeper-Nginx-FIlebeat-MySQL的日志清洗分析平台搭建
weixin_52144789的博客
08-03 790
解释一下消息中间件：消息队列是分布式系统中重要的中间件，在实现系统高性能，高可用，可伸缩性和最终一致性架构框架中扮演着重要角色。是大型分布式系统不可缺少的核心中间件之一。kafka消息中间件：kafka是一个高吞吐的分布式消息队列系统。特点是生产者消费者模式，先进先出（FIFO）保证顺序，自己不丢数据，默认每隔7天清理数据。消息列队常见场景：系统之间解耦合、峰值压力缓冲、异步通信。日志收集、业务解耦、流量削峰允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。...
【Kafka-3.x-教程】-【三】Kafka-Broker、Kafka-Kraft
weixin_53543905的博客
01-10 1693
1、Broker 启动后向 ZK 进行注册，ZK 记录好存活的 Broker。 2、每个 Broker 中都有 Controller，谁的 Controller 先注册谁就是 Controller Leader。 3、Controller Leader 上线后监听已经注册的 Broker 节点的变化。 4、Controller 开始选举 Leader （1）选举规则：在 ISR 中存活着的节点，按照 AR 中排在前面的优先，Leader 也会按照 AR 中的排列顺序进行轮询。 （2）AR：Kafk
图解kafka消息入批次RecordAccumulate过程
qq_42673507的博客
07-14 457
如果有哪里描述的有误，敬请指出。谢谢~ 前言 kafka消息从producer发送出去时并不是一条一条发送的，而是先发送到一个消息批次(RecordAccumulate)中，然后由sender线程异步的将消息批次中的消息发到broker。这也是kafka吞吐量高的主要原因之一。 那么问题来了，一条消息是怎么被发送到批次中的呢？ 正文 RecordAccumulate结构 我们先来看数据结构 本次不涉及到的字段先忽略，消息批次中包含一个内存池和队列，这个队列就是实际存储消息的地方。我们可以通过下面这张图.
kafka入门之broker--日志存储设计
weixin_30270561的博客
07-20 344
kafaka并不是直接将原省消息写入日志文件的，相反，它会将消息和一些必要的元数据信息大宝在一起封装成一个record写入日志。其实就是我们之前介绍的batch 具体对每个日志而言，kafka又将其进一步细分成日志段文件以及日志段索引文件，每个分区日志都是由若干日志段文件+索引文件构成的。 创建topic时，kafka为该topic的每个分区在文件系统中创建了一个对应的子目录，...
大数据与kafka系列之Produce源码分析(三)
跋跋寒的博客
06-28 6445
上篇说了kafka produce过程中的分区和拦截器，这节继续。 int partition = partition(record, serializedKey, serializedValue, cluster); int serializedSize = Records.LOG_OVERHEAD + Record.recordSize(serializedKey, serial...
Kafka生产者介绍（四）：RecordBatch
lianggx3的博客
05-25 1023
RecordBatch对象中封装了一个MemoryRecords对象，还有很多控制信息和统计信息。如下： public final class RecordBatch { // 保存Recrod的个数 public int recordCount = 0; // 最大Record的字节数 public int maxRecordSize = 0; // 记录尝试发送当前...
关于Kafka幂等性的原理及实践
靳刚同学
08-09 1445
01 幂等性如此重要Kafka作为分布式MQ，大量用于分布式系统中，如消息推送系统、业务平台系统（如结算平台），就拿结算来说，业务方作为上游把数据打到结算平台，如果一份数...
RecordBatch分析
happy19870612's blog
06-02 3381
RecordBatch主要用于封装MemoryRecords以及其他的一些统计类型的信息。 一 核心字段 int recordCount: 保存的record个数 int maxRecordSize: 最大record的字节数 int attempts: 尝试发送当前RecordBatch的次数 long lastAttemptMs: 最后一次尝试发送的时间戳 long lastApp
智慧建造总体策划方案（76页）.pptx
11-02
智慧建造总体策划方案（76页）
基于 Python2.7 和 PyQT4 开发的 modbus 通信采集软件
11-02
基于 Python2.7 和 PyQT4 开发的 modbus 通信采集软件，已在 windows、deepin linux 和树莓派上测试！
LLC simulink仿真《slx模型文件》
11-02
LLC simulink仿真《slx模型文件》 LLC谐振转换器是一种高效的直流-直流(DC-DC)电源转换器，因其独特的谐振特性而得名。在电力电子领域，LLC仿真对于理解和优化这种转换器的性能至关重要。Simulink是MATLAB环境下的一个强大工具，用于建立和仿真复杂系统，包括电力电子系统。 标题“LLC simulink仿真”指的是使用Simulink进行LLC谐振转换器的建模和仿真。通过Simulink，工程师可以模拟LLC转换器在不同工作条件下的行为，如负载变化、输入电压变动以及控制策略的影响。 **LLC电路的基本原理：** LLC谐振转换器结合了升压（Boost）、降压（Buck）和串联谐振（Series Resonant）三种拓扑结构的特点。它由主开关、副开关、电感、电容和二极管组成。谐振电容和电感形成谐振回路，使得开关器件能在零电压或零电流条件下切换，从而降低开关损耗并提高效率。 **仿真过程：** 在Simulink中，首先需要建立LLC转换器的模型，包括各个元件的参数设定。这包括主开关和副开关的开关频率、谐振电容和电感的值、二极管的反向恢复特性等。然后，设
krb5-devel-1.15.1-55.el7_9.i686.rpm
最新发布
11-02
Centos7 el7.x86_64 官方离线安装包，安装指令为 sudo rpm -ivh krb5-devel-1.15.1-55.el7_9.i686.rpm
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值