Kafka的log存储机制

最新推荐文章于 2024-04-30 02:02:23 发布
最新推荐文章于 2024-04-30 02:02:23 发布
阅读量251 收藏
点赞数
分类专栏： Kafka 文章标签： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43854618/article/details/109125364
版权
Kafka的日志文件由多个segment file组成，每个segment包括一个数据文件和索引文件。文件命名基于第一条消息的偏移量，超过1GB会生成新segment。索引文件提供快速查找功能，通过松散索引加速数据定位，提高查询效率。
摘要由CSDN通过智能技术生成

文章目录

log文件分析

log文件组成

在我们搭建Kafka集群的时候，一般都会配置日志文件的路径，我们可以通过该路径找到kafka的日志文件，log文件与partition关系如下图所示：Kafka的日志文件可以可以说由对个segment file组成，一个segment file由一个xx…x.log数据文件和一个xx…x.index文件组成，当单个数据文件达到1GB（默认），就会生成新的segment file，所以，一个分区当数据量达到一定时，一个分区就会有多个segment file。数据文件就是kafka缓存下来的数据，默认7天会自动清理。
在这里插入图片描述

索引文件和数据文件命名分析

segment file的index文件和log文件都是以log文件第一条消息的偏移量来命名的，长度为20位，不够的在前面补0，在文件达1GB后，新的文件产生，也会是采用这个命名方式，如下图，可以看出第一条数据文件里面有77893条消息，第二个数据文件的第一条数据的偏移量是77894。
在这里插入图片描述

索引文件和数据文件内容分析

最低0.47元/天 解锁文章
情深不仅李义山
关注
专栏目录
快速入门Kafka系列(7)——kafka的log存储机制和kafka消息不丢失机制
大数据梦想家
03-22 7807
        作为快速入门Kafka系列的第七篇博客，本篇为大家带来的是kafka的log存储机制和kafka消息不丢失机制~         码字不易,先赞后看! 文章目录1. kafka的log-存储机制1.1 kafka中log日...
Kafka架构及存储机制_kafka文件存储机制(1)
2401_84182146的博客
04-30 419
Topic（主题）：同类消息的集合是逻辑概念。生产者按主题生产消息，消费者按主题消费消息。Partition（分区）：Partition是物理概念，将同一Topic分布到多个Broker。例如上图Topic A被分成三个分区（Part0、Part1、Part2），分布在三个Broker。Kafka多分区可以提升消息消费速度（多消费者消费同一主题消息）。Replica（副本）：Leader和Follower的集合，一个Topic的每个分区都有若干副本（一个Leader，多个Follower）。
实现log存储机制
kayshi的博客
03-20 1004
1：目的 实现运行代码的时候把一些需要记录的信息，保存在log文件中去 2：功能 实现通过函数向固定文件写入log信息 实现每条log前面添加时标 实现每条log上添加运行APP的名字 实现可以限制log文件的大小 实现可以当log文件超过指定大小时，对log进行一次备份保留 3：代码 /******************************************************************************* * @file file.c *
kafka的log-存储机制
抓住人生的每一分每一秒，胜过虚度中的每一年每一月！！！
05-12 3477
1.kafka中log日志目录及组成 kafka在我们指定的log.dir目录下，会创建一些文件夹；名字是【主题名字-分区名】所组成的文件夹。 在【主题名字-分区名】的目录下，会有两个文件存在，如下所示： #索引文件 00000000000000000000.index #日志内容 0000000000000000000.log 在目录下的文件，会根据log日志的大小进行切分，.log文件的大小为1G的时候，就会进行切分文件； 在kafka的设计中，将offset值作为了文件名的一.
kafka存储机制.docx
11-02
Kafka 存储机制详解 Kafka 是一个分布式、分区的、多副本的、多订阅者、基于 zookeeper 协调的分布式日志系统，也可以当做 MQ 系统。它常见用于 web/nginx 日志、访问日志、消息服务等等。下面将从 Kafka 文件存储...
Kafka架构及存储机制_kafka文件存储机制
最新发布
2401_84182222的博客
04-30 389
我们简单介绍一下每一个概念的具体含义：Producer（生产者）：生产消息的一方，向Kafka实例推送消息的客户端。Consumer（消费者）：消费消息的一方，从Kafka实例拉取消息的客户端。Consumer Group（消费者组）：Kafka消费信息是按消费者组来的，一个消费者组内包含多个消费者，这些消费者共享一个组idBroker（代理）：一个独立的Kafka实例。多个Kafka实例（broker）组成一个Kafka集群。Topic（主题）：同类消息的集合是逻辑概念。
kafka数据文件.log
学亮编程手记
09-14 329
Log日志保存
08-02
log日志过滤，保存,自动保存Log
Kafka:Log存储机制
写的不好之处,请指教
03-31 4990
Log存储机制 kafka中log日志目录及组成 kafka在我们指定的log.dir目录下，会创建一些文件夹；名字是【主题名字-分区名】所组成的文件夹。 在【主题名字-分区名】的目录下，会有两个文件存在，如下所示： #索引文件 00000000000000000000.index #日志内容 0000000000000000000.log 在目录下的文件，会根据log日志的大小进行切分，...
Kafka深入解析Log存储
人是有思想的芦苇
09-30 764
深入解析kafka的Log存储
Kafka的Log存储解析
热门推荐
jewes的专栏
01-21 4万+
Kafka的Log存储解析 标签（空格分隔）： kafka 引言 Kafka中的Message是以topic为基本单位组织的，不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的)，每个partition存储一部分Message。借用官方的一张图，可以直观地看到topic和partit
Kafka的log存储以及查询机制
qq_15083919的博客
05-29 1387
kafka中log日志目录及组成 kafka在我们指定的log.dir目录下，会创建一些文件夹；名字是【主题名字-分区名】所组成的文件夹。 在【主题名字-分区名】的目录下，会有两个文件存在，如下所示： #索引文件 00000000000000000000.index #日志内容 00000000000000000000.log 在目录下的文件，会根据log日志的大小进行切分，.log文件的大小为1G的时候，就会进行切分文件 在kafka的设计中，将offset值作为了文件名的一部分
Kafka Log存储解析以及索引机制
weixin_44852067的博客
09-27 1480
在Kafka架构，不管是生产者Producer还是消费者Consumer面向的都是Topic。Topic是逻辑上的概念，而Partition是物理上的概念。每个Partition逻辑上对应一个log文件，该log文件存储是Producer生产的数据。Producer生产的数据被不断追加到该log文件末端，且每条数据都有自己的offset。Kafka对于log文件是采取分片和索引机制。
【kafka原理】kafka Log存储解析以及索引机制
石臻臻的杂货铺(szzdzhp001)
10-26 1万+
本文设置到的配置项有 名称 描述 类型 默认 num.partitions topic的默认分区数 int 1 log.dirs 保存日志数据的目录。如果未设置，则使用log.dir中的值 string /tmp/kafka-logs offsets.topic.replication.factor offset topic复制因子（ps：就是备份数，设置的越高来确保可用性）。为了确保offset topic有效的复制因子，第一次请求offset topic时，活的broker的数量
Kafka--Kafka日志索引详解以及生产常见问题分析与总结
weixin_43874650的博客
12-20 2015
​ Kafka的设计重点是在网络不稳定，服务也不稳定的复杂分布式环境下，如何保持高性能，高可用，高可扩展的三高架构。在这方面，Kafka的设计是很复杂也很完善的，是业内公认的老大哥。因此网上的解读文章也是最多的。但是这些解读的文章如果没有一条主线串起来，那永远都只是一些零散的，过目既忘的东西。​ 在这几期的课程中，一直在尝试以可见的方式去深入理解Kafka的各种主要设计思想。内容非常多，节奏也非常紧凑，但是梳理出了客户端、Zookeeper数据、Log日志三条可以看得见的数据主线。
Kafka日志清理之Log Deletion
朱小厮的博客
05-23 3万+
Kafka将消息存储在磁盘中，为了控制磁盘占用空间的不断增加就需要对消息做一定的清理操作。Kafka中每一个分区partition都对应一个日志文件，而日志文件又可以分为多个日志分段文件，这样也便于日志的清理操作。Kafka提供了两种日志清理策略： 日志删除（Log Deletion）：按照一定的保留策略来直接删除不符合条件的日志分段。 日志压缩（Log Compaction）：针对每个消息的...
深入解析Kafka文件存储机制
"Kafka文件存储机制" 在深入探讨Kafka的文件存储机制之前，我们首先理解Kafka的基本概念。Kafka是由LinkedIn开发的分布式流处理平台，后来成为了Apache的顶级项目。它是一个高吞吐量、低延迟的消息系统，常用于实时...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值