Kafka高吞吐低延迟原理

最新推荐文章于 2023-12-08 17:01:06 发布
最新推荐文章于 2023-12-08 17:01:06 发布
阅读量1.4k 收藏 4
点赞数 2
分类专栏： Kafka 文章标签： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ThreeAspects/article/details/103548927
版权

目录

顺序读写

  Kafka将消息记录持久化到本地磁盘中，实际上不管是内存还是磁盘，快或慢关键在于寻址的方式，磁盘分为顺序读写与随机读写，内存也一样分为顺序读写与随机读写。基于磁盘的随机读写确实很慢，但磁盘的顺序读写性能却很高。
  Kafka使用磁盘顺序读写来提升性能，Kafka的message是不断追加到本地磁盘文件末尾的，而不是随机的写入，这使得Kafka写入吞吐量得到了显著提升 。每一个Partition其实都是一个文件 ，收到消息后Kafka会把数据插入到文件末尾。
  这种方法不能删除数据 ，所以Kafka是不会删除数据的，它会把所有的数据都保留下来，每个消费者（Consumer）对每个Topic都有一个offset用来表示 读取到了第几条数据 。
在这里插入图片描述
两个消费者，Consumer1有两个offset分别对应Partition0、Partition1（假设每一个Topic一个Partition）；Consumer2有一个offset对应Partition2。这个offset是由客户端SDK负责保存的，一般情况下SDK会把它保存到zookeeper里面。
  如果不删除硬盘肯定会被撑满，所以Kakfa提供了两种策略来删除数据。一是基于时间，二是基于partition文件大小。

Page Cache

Page Cache
 

最低0.47元/天 解锁文章
K. Bob
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Kafka Connect 构建大规模低延迟的数据管道
SmartSi
12-29 503
很长一段时间以来，公司所做的大部分数据处理都是作为批作业运行，例如，从数据库中转储的 CSV 文件、在一天结束时收集的日志文件等。但企业是实时一直运营的，与其只在一天结束时处理数据，还不如在数据到达时就对其做出反应？这是流处理的新兴世界。但是只有当数据捕获以流的方式完成时，流处理才成为可能；毕竟，我们无法将每天批量处理的 CSV 转储作为流处理。这种向流处理的转变推动了 Apache Kafka 的流行。但是，即使使用 Kafka，构建这种类型的实时数据管道也需要付出一些努力。 Apache Kafka 0
KAFKA 海量吞吐低延迟技术解密：KafkaController
个人技术博客
03-12 1万+
1、导读 KAFKA是基于Scala语言开发的一个多分区、多副本且基于ZooKeeper协调的分布式消息系统，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用，越来越多的开源分布式处理系统如Cloudera、Storm、Spark、Flink等都支持与KAFKA集成。本文将基于KAFKAv1.1.0版本源码，探讨KafkaController的启动流程、选举流程、脑裂问题和事件队列模型。笔者水平有限，若有不当之处，敬请指正。 2、Controller...
高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒；.txt
12-05
高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒；可扩展性：kafka集群支持热扩展；持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失；容错性：允许集群中节点故障（若副本数量为n,则允许n-1个节点故障）；高并发：支持数千个客户端同时读写。
Kafka如何实现高吞吐量 低延迟
weixin_39034379的博客
07-07 1万+
Kakfa为什么这么快？（一） 1.为什么这么快？ kafka为什么这么快，就是kafka再各个层面做了各种各样的优化，尽可能的把资源最大化的利用 kafka做的优化主要有以下几个方面： 1.Producer批处理 2.PageCache（读写缓存的使用） 3.ZeroCopy 4.Kafka服务端处理请求的方式 5.顺序读写 6.分区机制，以及消费者组的使用 7.消息格式的演变，以及压缩消息 最主要的就是v2版本提取消息公共属性，使用可变长参数的优化 8.摒弃消息的SRC校验（但是损失了安全性，
Kafka 高吞吐低延迟（零拷贝）原理图
a93119311的博客
10-28 103
消息队列Kafka高可靠性原理深度解读
02-25
Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统，后成为Apache的一部分，它使用Scala编写，以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、ApacheStorm、Spark等都支持与...
Kafka核心设计与实践原理.zip
07-22
《深入理解Kafka：核心设计与实践原理》从Kafka的基础概念切入，循序渐进地转入对其内部原理的剖析。《深入理解Kafka：核心设计与实践原理》主要阐述了Kafka中生产者客户端、消费者客户端、主题与分区、日志存储、...
Kafka高可用性实现原理
05-04
Kafka高可用性实现原理 Kafka 作为一个分布式消息系统，具有高可用性和高吞吐量的特点。其高可用性实现原理可以从以下几个方面来分析： 1. 分布式系统架构 Kafka 的架构是基于分布式系统的，包括 Producer、...
Kafka设计原理
02-25
跟RabbitMQ、RocketMQ等目前流行的开源消息中间件相比，Kakfa具有高吞吐、低延迟等特点，在大数据、日志收集等应用场景下被广泛使用。本文主要简单介绍Kafka的设计原理。基本概念：broker：Kafka服务器，负责消息...
KAFKA 海量吞吐低延迟技术解密：KafkaProducer
个人技术博客
03-03 2万+
1、导读 笔者在生产交付的项目中使用了KAFKA，为了更好地掌握KAFKA，业余时间阅读了部分源码。KAFKA生产者的代码中有很多的精妙绝伦的设计，非常值得借鉴学习。本文将探讨KafkaProducer的消息发送流程、高并发场景下消息的缓冲机制、缓冲机制是如何通过分段加锁和读写分离巧妙提升吞吐和并发的、为减少频繁FGC设计的内存池、消息重复发送和消息丢失的场景。笔者水平有限，若有不当之处，请不吝指正。 2、消息发送的流程 KAFKA生产者客户端分别由主线程和Sender线程协调...
Kafka延时分析
李志涛的专栏
08-27 1万+
1、背景针对Mafka SLA性能测试（历史版）结果中出现的ack为0消费时延比ack为1、-1情况下反而要长，异步生产消费时延较大等疑点，都非常有必要一番配置和代码的梳理。 2、核心配置以下所有默认参数是针对kafka 0.9，且主要针对时延这块涉及的核心参数做分析：producer端：buffer.memory：默认32m，每个producer实例可用来存储消息的最大内存空间（在实例中作为一个内
Kafka如何实现高吞吐量 低延迟（二）
weixin_39034379的博客
01-25 239
高性能网络处理框架 Kafka服务端处理请求的方式 采用了Reactor 模型，并对其进行了扩展。
kafka服务器性能要求,Kafka性能测试及分析
weixin_42395498的博客
08-09 1711
Kafka 简介Kafka 是一种基于 Zookeeper 协调的分布式消息系统，使用 Scala 编写。其主要设计目标如下：以时间复杂度为 O(1) 的方式提供消息持久化能力，即使对 TB 级以上数据也能保证常数时间复杂度的访问性能。高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒 100K 条以上消息的传输。支持 Kafka Server 间的消息分区，及分布式消费，同时保证每个 Pa...
TPS和QPS概念
qq_39248311的博客
11-05 1656
TPS Transactions Per Second，意思是每秒事务数，具体事务的定义，都是人为的，可以一个接口、多个接口、一个业务流程等等。一个事务是指事务内第一个请求发送到接收到最后一个请求的响应的过程，以此来计算使用的时间和完成的事务个数。 以单接口定义为事务为例，每个事务包括了如下3个过程： a.向服务器发请求 b.服务器自己的内部处理（包含应用服务器、数据库服务器等） c.服务器返回结果给客户端 如果每秒能够完成N次这三个过程，tps就是N； 如果多个接口定义为一个事务，那么，会重复执行abc，
kafka高吞吐、低延时、高性能的实现原理
最新发布
墨家巨子@俏如来
12-08 2007
Kafka是大数据领域无处不在的消息中间件，目前广泛使用在企业内部的实时数据管道，并帮助企业构建自己的流计算应用程序。Kafka虽然是基于磁盘做的数据存储，但却具有高性能、高吞吐、低延时的特点，其吞吐量动辄几万、几十上百万，这其中的原由值得我们一探究竟，让我们一起掌握Kafka各种精巧的设计。
面试官：消息中间件如何实现每秒几十万的高并发写入？【石杉的架构笔记】...
石杉的架构笔记
03-04 3530
点击上方"蓝字",右上角选择“设为星标”周一至周五早8点半！精品技术文章准时送上！公众号后台回复 “学习” ，获取作者独家秘制学习套餐 目录1、页缓存技术 +...
Kafka史上最详细原理总结
热门推荐
我是Alvin家鸡鸭鱼的小米米
08-31 6万+
Kafka Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Li
kafka消费延时解决实战【意想不到的消费逻辑优化】
yk200808的博客
07-31 2万+
    一、背景   日志收集并入hbase 1、框架   2、日志量 每日产生数十亿条日志，其中有15%~20%为有效日志，高峰期有效日志的写入QPS为25万/秒。   3、日志过滤 80%的日志需要过滤掉【由于特殊性，无法将需要的日志生成到一个指定文件，这里不做过多讨论】   4、机器部署 4台机器，每台20个线程，kafka80个partition   5...
Kafka——Kafka高吞吐高性能原理解析
aof
11-25 587
文章目录磁盘顺序访问内存数据的保存pagecachezero copy1. 传统的数据传输方式2. 零拷贝数据传输方式参考 Kafka作为一个高吞吐、高可用、可伸缩并能提供数据持久化的发布订阅系统。那么其高吞吐的特性使如何做到的呢？答案就是磁盘顺访问和zero-copy零拷贝。 Kafka架构图如下： 磁盘顺序访问 Kafka非常依赖于文件来存储和缓存消息，可是我们很多人会认为磁盘太慢了，但其实对于一个配置了6块7200rpm SATA RAID-5机械硬盘的JBOD，其线性写入速度可达600MB/s。甚
Kafka数据高可用的原理是什么?
07-15
Kafka数据高可用的原理如下： 1. 分区复制：Kafka中的每个主题可以被分成多个分区，每个分区可以有多个副本。这些副本分布在不同的Broker上，每个分区都有一个领导者（leader）和零个或多个追随者（follower）。领导者负责处理读写请求，而追随者则复制领导者的数据。 2. ISR（In-Sync Replicas）机制：为了保证数据的一致性和可用性，Kafka引入了ISR机制。只有与领导者保持同步的副本才能被认为是ISR副本，其他落后的副本则被移除。当领导者发生故障时，其中一个ISR副本会被选举为新的领导者。 3. 心跳检测和故障感知：Kafka通过心跳检测机制来检测Broker的健康状态。每个Broker会定期发送心跳消息给控制器节点，如果连续若干次没有收到心跳消息，则认为该Broker故障。控制器节点会负责监控和管理所有的Broker。 4. 自动分区再均衡：在Kafka集群中添加或删除Broker或主题时，会触发自动分区再均衡，以保持各个分区在集群中的均衡分布。再均衡会重新分配分区的领导者和副本，确保数据的可用性和高吞吐量。 5. 数据复制和副本同步：Kafka使用异步复制机制将数据从领导者复制到追随者。追随者通过拉取方式从领导者获取数据，然后将数据写入本地日志。通过异步复制，Kafka能够提供高吞吐量和低延迟的消息传输。 综上所述，Kafka通过分区复制、ISR机制、心跳检测和故障感知、自动分区再均衡以及数据复制和副本同步等机制来实现数据的高可用性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值