kafka存储结构

最新推荐文章于 2024-07-02 11:34:52 发布
最新推荐文章于 2024-07-02 11:34:52 发布
阅读量3k 收藏 4
点赞数
分类专栏： 大数据 文章标签： kafka 存储 partition message结构 索引
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yaolong336/article/details/80047701
版权
博客详细介绍了Kafka的存储结构，包括topic、partition、segment及其索引文件结构。每个partition由多个segment组成，每个segment包含索引文件和数据文件。message结构包含offset、MessageSize、crc32校验码等信息。索引文件提供高效查找，通过offset在partition内进行O(1)查找。存储结构设计考虑了空间效率、水平扩展及查找效率。
摘要由CSDN通过智能技术生成

相关概念

  • topic 主题，特指kafka处理的消息源的不同分类
  • partition topic物理上的分组，一个topic可以分为多个partition
  • message 消息，是通信的基本单位

存储结构

topic结构

  • topic包含多个partition，
  • topic只是逻辑概念，不涉及到存储，partition才是物理概念
  • 同一topic的不同partition可能分布在不同机器上

partition结构

  • partition是一个文件夹，其中包含多个segment
  • 如果其中有n个segment，则共有2*n个文件
  • 每个partition是一个有序的队列
  • partition中的每条消息都会分配一个有序的id，即offset

segment结构

  • 由一对文件组成，一个索引文件，一个数据文件
  • 文件命名规则
    • 上一个segment在partition中的最大offset数值，即，比如00000000000000345678.log文件中的第一条消息的offset为345679
    • 最大为64位的long，不足位数补0，如00000000000000345678.log
    • 索引文件后缀.index，日志数据文件后缀.log

segment索引文件结构

  • 存储一系列的元数据，每条元数据就是一
最低0.47元/天 解锁文章
yaolong336
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
搞透 Kafka 的存储架构，看这篇就够了
weixin_70730532的博客
06-14 1071
今天聊聊 Kafka 的存储系统架构设计。说到存储系统，大家可能对 MySQL 比较熟悉，也知道 MySQL 是基于 B+ 树来作为它的索引数据结构。Kafka 又是基于什么机制来存储？为什么要设计成这样？它解决了什么问题？又是如何解决的？里面又用到了哪些高大上的技术？带着这些疑问，我们就来和你聊一聊 Kafka 存储架构设计背后的深度思考和实现原理。认真读完这篇文章，相信你会对 Kafka 存储架构有更加深刻的理解，也能有思路来触类旁通其他存储系统的架构。 1 Kafka 存储场景剖析在讲解 Kafka
搞透Kafka的存储架构，看这篇就够了
JavaShark的博客
07-12 147
今天我就来聊聊 kafka 的存储系统架构设计， 说到存储系统，大家可能对 MySQL 比较熟悉，也知道 MySQL 是基于 B+ tree 来作为它的索引数据结构。Kafka 又是基于什么机制来存储？为什么要设计成这样？它解决了什么问题？又是如何解决的？里面又用到了哪些高大上的技术？ 带着这些疑问，我们就来和你聊一聊 Kafka 存储架构设计背后的深度思考和实现原理。 认真读完这篇文章，我相信你会对 Kafka 存储架构，有更加深刻的理解。也能有思路来触类旁通其他存
Kafka文件存储机制那些事
美团技术团队
01-13 912
Kafka是什么 Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统(也可以当做MQ系统)，常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。 1.前言 一个商业化消息队列的性能好坏，其文件存储机制设计是衡量一个消息队...
kafka的架构
最新发布
大黄_sama
07-02 624
一、架构图Broker：一台 kafka 服务器就是一个 broker。一个kakfa集群由多个 broker 组成。一个 broker 可以容纳多个 topic。Producer：消息生产者，就是向 kafka broker 发消息的客户端Consumer：消息消费者，向 kafka broker 取消息的客户端。Topic：可以理解为一个队列，一个 Topic 又分为一个或多个分区。
一篇文章彻底搞懂 Kafka 的存储架构
Docker的专栏
10-30 467
文章来源：华仔聊技术，点击查看原文。今天我就来聊聊 Kafka 的存储系统架构设计，说到存储系统，大家可能对 MySQL 比较熟悉，也知道 MySQL 是基于 B+ tree 来作为它的索...
Kafka数据内存存储结构（四）
Dim_Jerry的博客
11-06 748
4. Kafka 存储形式 4.1 存储结构 通过上图，我们可以大概了解到一点，Kafka是通过主题进行对数据进行分类的，而一个主题可以划分为多个partition分区，同一topic的不同partition可能分布在不同机器上，进而实现分布式高性能的特点。对于partition在系统中是一个文件夹，其中可能包含多个segment。 我们可以设置segment在内存中的大小，当保存的消息大于segment的大小时，会再建一个segment。一个segment段由三个文件组成，分别为 .log , .in
Kafka架构及存储机制_kafka文件存储机制(1)
2401_84182146的博客
04-30 408
Topic（主题）：同类消息的集合是逻辑概念。生产者按主题生产消息，消费者按主题消费消息。Partition（分区）：Partition是物理概念，将同一Topic分布到多个Broker。例如上图Topic A被分成三个分区（Part0、Part1、Part2），分布在三个Broker。Kafka多分区可以提升消息消费速度（多消费者消费同一主题消息）。Replica（副本）：Leader和Follower的集合，一个Topic的每个分区都有若干副本（一个Leader，多个Follower）。
Kafka整体架构图解
m0_67322837的博客
05-11 4285
1.概述 Apache Kafka最早是由LinkedIn开源出来的分布式消息系统，现在是Apache旗下的一个子项目，并且已经成为开源领域应用最广泛的消息系统之一。Kafka社区非常活跃,从0.9版本开始，Kafka的标语已经从“一个高吞吐量，分布式的消息系统”改为"一个分布式流平台"。 Kafka和传统的消息系统不同在于: kafka是一个分布式系统，易于向外扩展。 它同时为发布和订阅提供高吞吐量 它支持多订阅者，当失败时能自动平衡消费者 消息的持久化 kafka和其他消息队列的对比: ..
kafka系统的架构
m0_53400772的博客
06-06 958
Kafka 中的索引文件以稀疏索引（ sparse index ）的方式构造消息的索引，它并不保证每个消息在索引文件中都有对应的索引；每当写入一定量（由 broker 端参数 log.index.interval.bytes 指定，默认值为 4096 ，即 4KB ）的消息时，偏移量索引文件和时间戳索引文件分别增加一个偏移量索引项和时间戳索引项，增大或减小 log.index.interval.bytes的值，对应地可以缩小或增加索引项的密度；1，append time），[4,5,6,7]位保留；
搞透Kafka的存储架构（深度好文）
Java搜索工程技术栈
03-04 380
阅读本文大约需要30分钟。这篇文章干货很多，希望你可以耐心读完。 大家好, 我是大彬，今天给大家推荐华哥的一篇文章，非常值得学习 从这篇文章开始，我将对Kafka 专项知识进行深度剖析，今天我就来聊聊 kafka 的存储系统架构设计， 说到存储系统，大家可能对 MySQL 比较熟悉，也知道 MySQL 是基于 B+ tree 来作为它的索引数据结构。 Kafka 又是基于什么机制来存储？为什么要设计成这样？它解决了什么问题？又是如何解决的...
kafka之八 存储结构
weixin_42672777的博客
01-03 213
存储结构 存储结构概述 每一个partition相当于一个巨型文件被平均分配到多个大小相等segment数据文件里面 每一段segment file消息数量不一定相等,这方方便old segment file高速被删除,默认1g 每一个partition只要支持顺序读写即可,segment的生命周期有服务端配置参数决定 segment文件的存储结构 由index file和data file组...
Kafka架构及存储机制
weixin_44748315的博客
03-10 1018
Kafka Partition、Topic、存储机制
【博客371】kafka的存储结构
qq_43684922的博客
09-05 401
内容： 记录kafka的储存结构 数据分片： kafka 使用日志文件的方式来保存生产者和发送者的消息，每条消息都有一个 offset 值来表示它在分区 中的偏移量。Kafka 中存储的一般都是海量的消息数据，为了避免日志文件过大，一个分片 并不是直接对 应在一个磁盘上的日志文件，而是对应磁盘上的一个目录，这个目录的命名规则是： <topic_name>_<partition_id> 多个分区在集群中多个broker上的分配方法 1.将所有 N Broker 和待分配的 i 个
Kafka存储结构示意图
hepei120的专栏
04-13 432
kafka 的架构，大致储存结构
02-21
Kafka的架构是一种发布/订阅消息系统，它将消息数据存储在分区主题中，并且消息在这些分区中按照时间顺序组织。Kafka提供了一种可靠的分布式存储结构，可以以最低的延迟将消息发送出去，并可以保证消息的可靠性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值