【Kafka持久化机制】

已于 2022-03-09 10:59:18 修改
阅读量4.2k 收藏 10
点赞数
分类专栏： Hadoop Kafka 文章标签： kafka java 分布式
于 2022-03-09 10:58:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41323968/article/details/123371172
版权

Kafka持久化机制

一、Kafka介绍

Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统。

常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。

架构图

在这里插入图片描述

部分名词解释

  • Broker：消息中间件处理结点，一个Kafka节点就是一个broker，多个broker可以组成一个Kafka集群。
  • Topic：一类消息，例如page view日志、click日志等都可以以topic的形式存在，Kafka集群能够同时负责多个topic的分发。
  • Partition：topic物理上的分组，一个topic可以分为多个partition，每个partition是一个有序的队列。
  • Segment：partition物理上由多个segment组成，下面会详细说明。
  • offset：每个partition都由一系列有序的、不可变的消息组成，这些消息被连续的追加到partition中。partition中的每个消息都有一个连续的序列号叫做offset,用于partition唯一标识一条消息。

二、Topic中Partition分布

Topic与Partition的关系

在这里插入图片描述

实机操作

当前笔者本机为例，server.properties部分配置如下
PS：笔者电脑为Mac单机brew部署
详见链接：Mac安装Kafka

# kafka持久化的路径
log.dirs=/usr/local/var/lib/kafka-logs
# segment file最大值，手动设置为50kb（默认为1G）
log.segment.bytes=51200

1、 创建一个新的Topic，名为ods_base_log_test，定义3个分区

kafka-topics --create --zookeeper localhost:2181 --replication-factor 1 --partitions 3 --topic ods_base_log_test

2、向ods_base_log_test打数据，可观察到Topic中Partition为一个目录

在这里插入图片描述
由上图可知：在Kafka文件存储中，同一个topic下有多个不同partition，每个partition为一个目录，partition命名规则为topic名称+有序序号，第一个partition序号从0开始，序号最大值为partitions数量减1。

三、Partition中文件存储方式

在这里插入图片描述

  • 每个partion(目录)相当于一个巨型文件被平均分配到多个大小相等segment(段)数据文件中。但每个段segment file消息数量不一定相等，这种特性方便old segment file快速被删除。
  • 每个partiton只需要支持顺序读写就行了，segment文件生命周期由服务端配置参数决定。可快速删除无用文件，有效提高磁盘利用率。
    总结：kafka 这种分片和分段策略，避免了数据量过大时，数据文件无限扩张带来的隐患，更有助于消息文件的维护以及被消费的消息的清理。

实机操作

1、目前配置文件中，为方便演示，将segment最大值设置为50KB

# segment file最大值，手动设置为50kb
log.segment.bytes=51200

2、基于前文场景，向Topic推入数据后，进入0号分区，可发现log文件是严格按照50KB进行划分的

在这里插入图片描述

四、Partition中Segment文件存储结构

Segment结构：

segment file主要由两部分组成，分别是index file和data file，两部分数据成对出现，后缀".index/.timeindex"和".log"分别表示索引文件与数据文件。

segment 文件命名规则：partion 全局的第一个segment 从0开始，后续每个 segment文件名为上一个 segment文件最后一条消息的 offset值。数值最大为 64位 long大小，19位数字字符长度，没有数字用0填充。

以前文ods_base_log_test，0号分区为例，segment中index与datafile对应关系物理结构如下：
在这里插入图片描述
如上图可见索引文件存储大量元数据，数据文件存储大量消息，索引文件中元数据指向对应数据文件中message的物理偏移地址。

其中以索引文件中元数据3,379为例，依次在数据文件中表示第3个message(在全局partiton表示第86个message)、以及该消息的物理偏移地址为397。

Message结构

在这里插入图片描述
参数说明：

关键字参数说明
8 byte offset在partition(分区)内的每条消息都有一个有序的id号，这个id号被称为偏移(offset),它可以唯一确定每条消息在partition(分区)内的位置。即offset表示partition的第多少message
4 byte message sizemessage大小
4 byte CRC32用crc32校验message
1 byte “magic”表示本次发布Kafka服务程序协议版本号
1 byte “attributes”表示为独立版本、或标识压缩类型、或编码类型
4 byte key length表示key的长度,当key为-1时，K byte key字段不填
K byte key可选
value bytes payload表示实际消息数据

五、在Partition中如何通过offset查找Message

基于前文，例如需要读取0号分区，offset=87的message，通过下面2个步骤查找。

  • 第一步查找segment file，其中00000000000000000000.index表示最开始的文件，起始偏移量(offset)为0.第二个文件00000000000000000083.index的消息量起始偏移量为84 = 83 + 1.同样，第三个文件00000000000000000165.index的起始偏移量为166=165 + 1，其他后续文件依次类推。以起始偏移量命名并排序这些文件，只要根据offset二分查找文件列表，就可以快速定位到具体文件。 当offset=87时定位到00000000000000000083.index|log
  • 第二步通过segment file查找message 通过第一步定位到segment file，当offset=87时，依次定位到00000000000000000083.index的元数据物理位置和00000000000000000083.log的物理偏移地址，然后再通过00000000000000000083.log顺序查找直到offset=87为止。

说明：segment index file稀疏索引，即不会给所有的消息都建立索引，只会将日志文件的部分记录存储在索引文件中,它比稠密索引节省了更多的存储空间，但查找起来需要消耗更多的时间。

引用

石页10101
关注
  • 0
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
kafka_2.12-2.3.0.tgz
07-19
kafka_2.12-2.3.0版本 kafka是一种高吞吐量的分布式发布订阅消息系统，她有如下特性： 通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。 高吞吐量：即使是非常普通的硬件kafka也可以支持每秒数十万的消息。 支持通过kafka服务器和消费机集群来分区消息。 支持Hadoop并行数据加载。 卡夫卡的目的是提供一个发布订阅解决方案，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群机来提供实时的消费。
kafka分布式发布订阅消息系统-其他
06-11
kafka是一种高吞吐量的分布式发布订阅消息系统。 她有如下特性： 1、通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。 2、高吞吐量：即使是非常普通的硬件kafka也可以支持每秒数十万的消息。 3、支持通过kafka服务器和消费机集群来分区消息。 4、支持Hadoop并行数据加载。 kafka的目的是提供一个发布订阅解决方案，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群机来提供实时的消费。
深入了解Kafka的数据持久化机制
最新发布
todoitbo的博客
03-13 1396
本文将带领读者深入研究Apache Kafka中的数据持久化，通过实例和详细解释，揭示持久化在消息传递中的关键作用。从磁盘存储到日志段管理再到数据恢复，我们将探索Kafka数据的永久之道，带你穿越信息的持久化之旅。
Kafka设计解析（二）-KafkaHighAvailability（上）
02-25
本文是系列文章的第二篇，第一篇"。Kafka在0.8以前的版本中，并不提供HighAvailablity机制，一旦一个或多个Broker宕机，则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复，亦或磁盘故障，则其上数据将丢失。而Kafka的设计目标之一即是提供数据持久化，同时对于分布式系统来说，尤其当集群规模上升到一定程度后，一台或者多台机器宕机的可能性大大提高，对于Failover机制的需求非常高。因此，Kafka从0.8开始提供HighAvailability机制。本文从DataReplication和LeaderElection两方面介绍了Kafka的
Kafka日志持久化Secor.zip
07-16
Secor 是 Pinerest 公司开发的一个服务，用来将 Kafka 日志持久化到 Amazon S3, Google Cloud Storage 和 Openstack Swift. 标签：Secor
kafka_2.12-2.2.1.zip
10-10
kafka 2.2.1版本 kafka是一种高吞吐量的分布式发布订阅消息系统，她有如下特性： 通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。 高吞吐量：即使是非常普通的硬件kafka也可以支持每秒数十万的消息。 支持通过kafka服务器和消费机集群来分区消息。 支持Hadoop并行数据加载。 卡夫卡的目的是提供一个发布订阅解决方案，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群机来提供实时的消费。
Kafka学习(四)——Kafka持久化
lucky的专栏
10-30 797
参考资料：https://www.cnblogs.com/smartloli/p/4648249.html https://blog.csdn.net/zg_hover/article/details/73187746 概述： Kafka很大程度上依赖文件系统来存储和缓存消息。有一普遍的认识：磁盘很慢。这让人们怀疑使用磁盘作为持久化的性能。实际上，磁盘是快还是慢完全取决于我们是如何使用它。 就目前来说，一个 six 7200rpm SATA RAID-5磁盘线性...
Kafka学习(三)：Kafka的内部机制深入(持久化，分布式，通讯协议)
xiajie的专栏
03-16 9152
一.Kafka的持久化 1.数据持久化：      发现线性的访问磁盘（即：按顺序的访问磁盘），很多时候比随机的内存访问快得多，而且有利于持久化；     传统的使用内存做为磁盘的缓存     Kafka直接将数据写入到日志文件中，以追加的形式写入 2.日志数据持久化特性：        写操作：通过将数据追加到文件中实现    读操作：读的时候从文件中读就好了
Kafka实战－数据持久化
weixin_34050389的博客
07-15 760
1.概述 　　经过前面Kafka实战系列的学习，我们通过学习《Kafka实战－入门》了解Kafka的应用场景和基本原理，《Kafka实战－Kafka Cluster》一文给大家分享了Kafka集群的搭建部署，让大家掌握了集群的搭建步骤，《Kafka实战－实时日志统计流程》一文给大家讲解一个项目（或者说是系统）的整体流程，《Kafka实战－Flume到Kafka》一文给大家介绍了Kafka的数据生...
kafka的消息持久化文件
hncscwc的博客
01-03 569
最近排查kafka的问题，涉及到了kafka的消息存储，本文就相关内容进行总结。我们都知道，topic是有分区（partition）的概念的， 生产者往同一个topic发送的消息最终是发送到了不同的分区里面。也就是说，一个topic里的消息是由该topic下所有分区里的消息组成的。在同一个分区里，消息是有序的，而不同分区中，消息是不能保证有序的。有了这个简单认识后，自然可以知道，每个分区仅会存储该...
kafka_2.12-2.2.1.tgz
06-08
kafka 2.2.1版本 kafka是一种高吞吐量的分布式发布订阅消息系统，她有如下特性： 通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。 高吞吐量：即使是非常普通的硬件kafka也可以支持每秒数十万的消息。 支持通过kafka服务器和消费机集群来分区消息。 支持Hadoop并行数据加载。 卡夫卡的目的是提供一个发布订阅解决方案，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群机来提供实时的消费。
kafka概述及原理.pdf
03-01
Apache Kafka是一个开源的流处理平台，设计用于构建实时数据管道和流式应用。它允许发布和订阅记录流，类似于消息队列或企业消息系统。然而，Kafka被设计为一个分布式系统，具有高度的可扩展性、容错性和持久性，使得它能够处理大量实时数据。 Kafka的核心特性 分布式和容错性：Kafka集群由多个Broker组成，这些Broker可以分布在不同的物理或虚拟机上。每个Broker都是独立的，并且可以处理来自生产者和消费者的请求。这种分布式架构使得Kafka具有高可用性，即使部分Broker发生故障，系统仍然可以正常运行。此外，Kafka使用复制机制来确保数据的容错性，每个分区都有多个副本，这些副本分布在不同的Broker上，以防止数据丢失。 高吞吐量：Kafka设计用于处理大量实时数据，因此它具有非常高的吞吐量。通过优化数据结构、减少磁盘I/O操作和使用高效的序列化机制，Kafka可以在普通硬件上实现每秒数百万条消息的吞吐量。这使得Kafka成为处理大规模实时数据的理想选择。 消息持久化：Kafka将消息持久化到磁盘上，即使系统崩溃或重启，已经写入的消息也不会丢失。Kafka使用
Kafka(五)：Kafka 的高性能的源头
mingyuli的博客
07-31 1171
1. Kafka 持久化的秘密 无论是操作系统还是作为应用程序的 Kafka，都试图提供一个高效的写 API。我们这里分为多个部分对 Kafka 高效持久化（写操作会触发持久化）特性进行分析。 1.操作系统的写操作优化 现代操作系统为了提高磁盘的读写性能，提供了如下三个技巧： 预读（read-ahead）：提前将一个比较大的磁盘块读入内存。这源自于磁盘读操作的空间局部性原理。因此，即使应用程序仅仅需要读取 256 byte 的磁盘数据，操作系统至少会读取 4KB； 后写（write-behind）
KafKa - 消息持久化策略 及 消息查找策略讲解
小毕超博客
05-29 3915
一、kafka 消息持久化策略 Kafka实际上就是日志消息存储系统， 根据offset获取对应的消息，消费者获取到消息之后该消息不会立即从mq中移除，而是继续存储在磁盘中。 Kafka 会将topic分成多个不同的分区、每个分区中拆分成多个不同的segment文件存储日志。每个segment文件都会有 .index 文件 （消息偏移量索引文件），.log 文件（消息物理存放文件），timeindex文件（时间索引文件），在默认的情况下，每个segment文件容量最大是为500mb，如果超过了500mb 则
Kafka数据持久化、高效传输设计原理
jainszhang的博客
05-05 865
一、kafka解决的业务痛点 解决大量数据的实时传输问题。例如： 可能需要支持高吞吐量的实时日志聚合系统事件流 可能需要支持大量后台日志处理中，离线系统周期加载数据 低延时消息传输 这需要kafka系统支持分区，分布式，实时处理接收到的数据。此外，当数据被送到其他服务系统中时，kafka系统在机器出现问题是还必须有容错性保证。从某种程度上理解，kafka系统更像是一个日志数据库。 二、kafka持久化存储数据设计 kafka强依赖于文件系统和操作系统页缓存，摈弃java堆缓存机制，同时
【kafka系列教程15】kafka持久化
dcm19920115的博客
06-24 417
不要害怕文件系统! Kafka relies heavily on the filesystem for storing and caching messages. There is a general perception that "disks are slow" which makes people skeptical that a persistent structure can off...
浅谈Kafka持久化与日志存储
weixin_59801183的博客
07-06 1446
Apache Kafka是一个分布式流处理平台，用于构建实时数据流管道和流式应用程序。Kafka具有高吞吐量、低延迟、可扩展性和容错性等特点。本文档将介绍Kafka的持久化与日志存储机制，包括Kafka的存储架构、数据压缩和数据清理等；此外还将分析如何在 Kafka 中进行日志监控和维护。
Kafka-数据持久化
Alen
09-23 4027
Kafka很大程度上依赖文件系统来存储和缓存消息。有一普遍的认识：磁盘很慢—这让人们怀疑使用磁盘作为持久化的性能。实际上，磁盘是快还是慢完全取决于我们是如何使用它。 就目前来说，一个 6块 7200rpm SATA RAID-5磁盘线性（顺序）写入的性能能达到600MB/sec，而任意位置写（寻址再写）的性能只有100k/sec。这些线性读写是所有使用模式中最可预测的，并且由操作系统进行了大量优化...
kafka备份持久化数据
03-28
Kafka的备份和持久化数据可以通过以下方式实现： 1. 使用Kafka Mirror Maker进行数据备份：Kafka Mirror Maker是Kafka提供的一种数据复制工具，可以将一个或多个Kafka集群中的数据复制到另一个Kafka集群中。通过配置合适的Mirror Maker，可以实现Kafka数据的备份和容灾。 2. 使用Kafka Connect进行数据备份：Kafka Connect是Kafka提供的一种数据集成工具，可以将Kafka集群中的数据导出到不同的数据存储系统中，例如Hadoop、ElasticSearch、Redis等。通过配置合适的Kafka Connect，可以将Kafka中的数据备份到其他存储系统中。 3. 使用Kafka的数据持久化机制：Kafka可以将数据持久化到本地磁盘中，保证数据不会因为服务器故障而丢失。Kafka的数据持久化机制通过将数据写入磁盘中的日志文件来实现，同时可以通过配置备份机制来保证数据的可靠性。 无论是使用Mirror Maker、Kafka Connect还是Kafka的数据持久化机制，都可以实现Kafka的备份和持久化数据，以确保数据的可靠性和容灾性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值