kafka为什么吞吐量大，速度快？如何保证可靠性？

已于 2022-08-13 18:13:59 修改
阅读量473 收藏
点赞数
文章标签： 中间件 kafka
于 2022-08-13 18:03:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nulidexiaobai/article/details/126322378
版权
本文探讨了Kafka为何能实现高吞吐、低延时，主要涉及顺序读写、Page Cache、零拷贝、分区与索引、批量操作及压缩等优化策略。此外，还详细介绍了Kafka如何确保数据可靠性，包括副本同步策略、ISR、ACK机制、故障处理（HW与LEO）以及Exactly Once保证。
摘要由CSDN通过智能技术生成

kafka为什么吞吐量大，速度快？如何保证可靠性？

一：kafka为什么吞吐量大，速度快

Kafka虽然是基于磁盘做的数据存储，但却具有高性能、高吞吐、低延时的特点，其吞吐量动辄几万、几十上百万。主要是由于以下原因：

1. 顺序读写

众所周知Kafka是将消息记录持久化到本地磁盘中的，一般人会认为磁盘读写性能差，可能会对Kafka性能如何保证提出质疑。实际上不管是内存还是磁盘，快或慢关键在于寻址的方式，磁盘分为顺序读写与随机读写，内存也一样分为顺序读写与随机读写。基于磁盘的随机读写确实很慢，但磁盘的顺序读写性能却很高，一般而言要高出磁盘随机读写三个数量级，一些情况下磁盘顺序读写性能甚至要高于内存随机读写。

参考性能对比

最低0.47元/天 解锁文章
nulidexiaobai
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Kafka生产经验
Laoddaaa的博客
08-13 2881
Kafka生产经验
Kafka为什么高吞吐量
天地孤影任我行的博客
07-19 6777
1、顺序读写 kafka的消息是不断追加到文件中的，这个特性使kafka可以充分利用磁盘的顺序读写性能，顺序读写不需要硬盘磁头的寻道时间，只需很少的扇区旋转时间，所以速度远快于随机读写。 2、零拷贝 Kafka高吞吐量的原因其中有个重要技术就是Zero-Copy(零拷贝)系统调用机制 传统的文件拷贝 由于应用程序无法直接读取内核空间的数据，如果要读取这些数据，那么必须把数据从读取缓冲区拷贝到应用程序缓冲区 用户态把数据拷贝到核心态Socket Buffer，然后发送到网卡 DMA(Di.
关于Kafka高性能的几个问题
wh柒八九的博客
08-15 419
本文来说下Kafka为什么吞吐量大、速度快？ 文章目录概述 概述 Kafka是大数据领域无处不在的消息中间件，目前广泛使用在企业内部的实时数据管道，并帮助企业构建自己的流计算应用程序。 Kafka虽然是基于磁盘做的数据存储，但却具有高性能、高吞吐、低延时的特点，其吞吐量动辄几万、几十上百万。 但是很多使用过Kafka的人,经常会被问到这样一个问题,Kafka为什么速度快,吞吐量大；大部分被问的人都是一下子就懵了，或者是只知道一些简单的点，本文就简单的介绍一下Kafka为什么吞吐量大，速度快。 ...
Kafka为何可以实现高吞吐?
打酱油的葫芦娃
01-11 7499
Kafka之所以可以实现高吞吐，主要依赖于以下5点: Zero Copy(零拷贝)技术 Page Cache(页缓存)+磁盘顺序写 分区分段+索引 批量读写 批量压缩 首先说一下零拷贝技术： Zero Copy 传统I/O 在Linux系统中，传统I/O主要是通过read()和write()两个系统调用来实现的，通过read()函数读取文件到缓存区中，然后通过write()函数将缓存中的数据输出到网络端口。 整个过程涉及2次CPU拷贝、2次DMA拷贝总共4次拷贝，以及4次上下文切换。 上下文切换：当
kafka消息发送大小限制 python confluent_kafka客户端
Labiod的博客
05-31 581
kafka消息发送大小限制 python confluent_kafka客户端。kafka的broker限制调整过后，发送图片base64编码，出现下面的问题。
kafka-2.13-3.7.0.tgz
最新发布
04-08
1. **高吞吐量**：Kafka通过批量发送和零拷贝技术实现了高效的I/O操作，从而达到每秒数十万条消息的处理能力。 2. **持久化**：Kafka将消息写入磁盘，并提供可配置的保留策略，如按时间或大小删除，确保消息不会...
kafka-2.12-3.3.2.tgz
02-01
2. **消费者位移管理**：消费者位移现在默认存储在Kafka主题中，提高了消费者恢复速度和故障转移的可靠性。 3. **连接器（Connectors）**：Kafka Connect允许快速地建立到外部系统的连接，如数据库或文件系统，简化...
Apache Kafka 3.1.0 (kafka-3.1.0-src.tgz)
02-16
- **高吞吐量**：Kafka设计时考虑了大规模数据传输，能够在单个集群上每秒处理数百万条消息。 - **持久化**：Kafka将消息存储在磁盘上，并提供多个副本以确保数据的可靠性。 - **分区与复制**：消息被分到不同的...
kafka的使用场景.docx
08-30
Kafka作为一个高效的消息中间件，能快速写入消息并保证消息的有序性，提高整体系统的吞吐量。 2. **应用解耦**：如订单系统与库存系统的交互。订单系统只负责创建订单并把消息放入Kafka，库存系统从队列中消费消息...
最新版 kafka_2.13-2.7.0.tgz
12-23
持久化是指Kafka将消息写入磁盘，并通过日志结构的存储方式保证了数据的可靠性。而分区和复制则为Kafka提供了水平扩展能力，使得多个服务器可以共同处理负载，提高了系统的可用性和容错性。 在Kafka_2.7.0这个版本...
关于kafka发送消息过大导致的异常的解决方式
qq_34409900的博客
05-29 5437
在kafka发送消息的时候，如果消息过大超过了max.request.size的默认大小（1M），就会报下面的异常： 这个时候我们如果单独调整max.request.size参数的大小可能不起作用，因为在broker端和consumer端同样对消息的大小存在限制，我们在调整的时候要同时调整这三个参数，不然可能是broker接受不了producter端的消息，要不就是consumer端消费不了消息。调整如下： producer端： max.request.size=5242880（5M） broke
Kafka处理单条超大信息的解决办法
qq_32118757的博客
01-31 1589
Kafka处理单条超大信息的解决办法
kafka 发送、接收大消息解决办法 - Spring Cloud Stream + Kafka
yuhui666666的博客
07-11 1625
kafka默认发送和接收的消息是1M大小，如果要发送或者接收超过1M大小的数据，则需要修改以下配置
Kafka性能优化
jiayoubaobei2的博客
03-06 1778
Kafka优化
kafka高吞吐量的原因
RedStone618的博客
02-25 3126
kafka高吞吐量1、顺序读写2、零拷贝3、分区4、批量发送5、数据压缩 1、顺序读写 kafka的消息是不断追加到文件中的，这个特性使kafka可以充分利用磁盘的顺序读写性能 顺序读写不需要硬盘磁头的寻道时间，只需很少的扇区旋转时间，所以速度远快于随机读写 2、零拷贝 在Linux kernel2.2 之后出现了一种叫做"零拷贝(zero-copy)"系统调用机制，就是跳过“用户缓冲区”的拷贝，建立一个磁盘空间和内存的直接映射，数据不再复制到“用户态缓冲区” 3、分区 afka中的topic中的内容可
Kafka吞吐量高的原因
m0_54187478的博客
03-12 675
Apache Kafka能够实现高吞吐量的原因归结于其独特的设计和架构选择。
Kafka为什么那么快
qq_29408381的博客
08-09 122
Kafka那么快的原因： 使用partition并行处理 批处理、数据压缩 顺序写磁盘 mmap内存映射 零拷贝 理解Topic和Partition，Partition的并行处理 在 Kafka 中，Topic 是一个存储消息的逻辑概念，可以认为是一个消息集合。 每个 Topic 可以划分多个分区partition（每个 Topic 至少有一个partition），同一 Topic 下的不同分区包含的消息是不同的。每个消息在被添加到分区时，都会被分配一个 offset，它是消息在此分区中的唯一编号，Ka
Kafka 单个节点每秒 2000万 条消息，吞吐量达到每秒 600MB，Kafka 为什么这么快？如何做到这么高的性能？...
架构师小秘圈
08-31 6095
文章来源：https://juejin.cn/post/7134463012563320868有人说：他曾在一台配置较好的机子上对 Kafka 进行性能压测，压测结果是 Kafka 单个节点的极限处理能力接近每秒 2000万 条消息，吞吐量达到每秒 600MB。那 Kafka 为什么这么快？如何做到这个高的性能？本篇文章主要从这 3 个角度来分析：生产端服务端 Broker消费端先来看下生产端发送...
kafka的吞吐量是评定kafka性能的标准吗
06-10
除了吞吐量，还需要考虑Kafka的延迟、稳定性、可靠性等指标。 吞吐量是指Kafka集群处理数据的速度，即每秒钟可以处理的消息条数，通常用MB/s或者条数/s表示。吞吐量越高，Kafka集群的性能越好，可以处理更多的数据...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值