kafka-6 kafka快速读取解析

最新推荐文章于 2023-01-16 15:45:36 发布
最新推荐文章于 2023-01-16 15:45:36 发布
阅读量376 收藏
点赞数
分类专栏： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a3125504x/article/details/108174397
版权
Kafka通过顺序读写、页缓存和零拷贝技术提高性能。顺序读写避免了磁盘随机读写的低效，页缓存利用操作系统缓存避免GC问题和对象消耗。零拷贝减少了数据在内核态和用户态间的复制，通过DMA直接从磁盘传输到网络，减少CPU参与的拷贝操作。这些优化使得Kafka具备高吞吐和低延迟特性。
摘要由CSDN通过智能技术生成

kafka快速读取解析


kafka作为消息中间件，虽然是基于磁盘做数据存储。但是有高性能、高吞吐、低延迟等特点。

顺序读写

磁盘顺序读写性能高于内存的随机读写
kafka将消息记录持久化到磁盘，有新消息时，通过不断追加的方式将message追加到文件磁盘末尾

页缓存(Page Cache)

kafka利用了操作系统本身的 page cache，即利用的是操作系统自身的内存而不是JVM空间内存，这样做主要有以下两点好处

  • 避免GC问题：随着JVM中数据不断增多，垃圾回收会变的缓慢而复杂，利用操作系统本身的缓存不会存在GC问题
  • 避免Object消耗：使用java堆，java对象的内存消耗比较大，通常是所存储数据的两倍甚者更多

零拷贝(sendfile)

零拷贝只减少不必要的拷贝次数。通常是减少IO读写过程中的拷贝次数。
零拷贝主要减少两部分的开销：

  • 数据不再拷贝至用户态，直接在核心态之间传递
  • 数据不在通过CPU调度，通过DMA让子系统直接访问主内存，从而减少内存太直接的拷贝次数

详情可以参考以下衍变过程：

常规数据文件传输

比如：读取文件，再用socket发送出去
传统方式实现

最低0.47元/天 解锁文章
爱吃甜食_
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
kafka读取写入数据
08-24
kafka读取写入数据
2：kafka架构
Yisnow.的博客
10-08 129
1、kafka工作流程和文件存储机制 kafka中消息是以topic进行分类的，生产者生产消息，消费者消费消息都是面向topic的； topic是逻辑上的概念，而partition是物理上的概念，每个partition对应一个log文件，文件中存储的就是producer生产的数据。会不断追加到文件末端，媒每条数据都有自己的offset,消费者也会记录自己消费到了哪个offset.以便出错时从上次的位置继续消费； 为防止log文件过大导致数据定位效率低下，kafka采取了分片和索引机制，将每个partit
分布式消息系统Kafka解析
牧羊人的方向
11-14 1761
Kafka作为开源分布式消息系统，具备高吞吐低时延、高可靠和可扩展的特性，广泛应用于分布式分析处理平台。本文简要介绍[Kafka的特性及主要概念]、高可用架构及可靠性机制、生产者和消费者的处理流程等基本原理。
Kafka 消费者读取数据
程序猿进阶
04-23 4670
消费者不需要自行管理 offset（分组+topic+分区），系统通过 broker 将 offset 存放在本地。低版本通过 zk 自行管理。系统自行管理分区和副本情况。消费者断线后会自动根据上一次记录的 offset 去获取数据（默认一分钟更新一次 offset），同一个分组中的客户不能同时消费同一个分片。不同的 group 记录不同的 offset，这样不同程序读取同一个 topic 才不会因为 offset 互相影响。 一、消费者组 分区的所有权从一个消费者转移到另一个消费者，这样的行为称为
kafka消费者：从kafka读取数据（性能提升、JAVA示例）
最新发布
墨痕诉清风的博客
01-16 7307
以第三章中的序列化器示例，如下写一个反序列化器。try {Customer@Override消费者端也需要实现Customer类，类和序列化器都需要在生产者和消费者的应用程序上匹配。在又许多消费者和生产者共享数据访问权限的大型组织中，这可能会非常有挑战性。反序列化器只是颠倒了了序列化器的逻辑，从字节数字中将Customer对象的ID和名称获取出来，重新构造一个对象。
kafka-python-2.0.2.tar.gz
08-31
《Python中的Kafka库：kafka-python-2.0.2深入解析》 在Python编程环境中，Kafka作为分布式消息系统的接口，对于实时数据处理和流处理应用至关重要。`kafka-python`是Python社区开发的一个非常流行的Kafka客户端库...
kafka-2.13-2.8.0
02-14
《深入理解Kafka 2.8.0：基于2.13版本的分布式消息系统解析》 Apache Kafka是一个高性能、分布式的流处理平台，广泛应用于大数据实时处理、日志收集、用户行为分析等领域。Kafka 2.8.0是其最新的稳定版本，对之前的...
flumeng-kafka-plugin:flumeng-kafka-plugin
05-12
本文将围绕“flumeng-kafka-plugin”这一主题，详细探讨 Flume 如何通过插件与 Kafka 进行集成，并解析其技术指标。 首先，让我们理解“flumeng-kafka-plugin”。这是一个专门为 Flume 设计的插件，使得 Flume 能够...
kafka-manager最新编译版1.3.3.22，解决了异常Unknown offset schema version 3
04-17
这个问题通常出现在消费者尝试读取Kafka中的偏移量时，由于版本不匹配导致的。Kafka-Manager是Yelp开源的一款针对Kafka集群管理的工具，最新版本1.3.3.22已经对这一异常进行了修复，使得管理和监控Kafka集群变得更加...
Kafka设计解析（五）-KafkaConsumer设计解析
02-25
很多时候，客户程序只是希望从Kafka读取数据，不太关心消息offset的处理。同时也希望提供一些语义，例如同一条消息只被某一个Consumer消费（单播）或被所有Consumer消费（广播）。因此，KafkaHightL
SparkStreaming集成Kafka，读取Kafka中数据，进行数据统计计算
热门推荐
Jantelope的博客
09-07 1万+
简单了解一下Kafka：是一种高吞吐量的分布式发布订阅消息系统。依赖Zookeeper，因此搭建Kafka的时候需要事先搭建好Zookeeper。体系结构如下： 当SparkStreaming与Kafka做集成的时候Kafka成了Streaming的高级数据源，由于Spark Streaming和Kafka集成的时候，依赖的jar包比较多，而且还会产生冲突。强烈建议使用Maven的方式来...
Kafka读写机制深度剖析
iflink
01-10 1847
目录01. 概述02. Kafka架构2.1 Topic & partition03. 高可靠性分析3.1. Kafka文件存储机制3.2 复制原理和同步方式3.3 ISR3.4 数据可靠性和持久性保证3.5 关于HW的进一步探讨3.6 Leader选举3.7 Kafka的发送模式04. 高可靠性使用分析4.1 消息传输保障4.2 消息去重4.3 高可靠性配置05. BenchMark5.1 测试环境5.2 不同场景测试 Kafka 起初是由 LinkedIn 公司开发的一个分布式的消息系统，后成为
Kafka读写流程
胖哥的运维之旅
06-09 1490
Kafka写数据流程 1. 连接zk集群，从zk中拿到对应的topic的partition信息和partition的leader的相关信息 2. 连接到对应的leader对应的broker 3. 将消息发送到partition的leader上 4. 其他follower从leader同步数据 5. 依次返回ack 6. 直到所有的ISR中的数据写入完成，才完成提交，整个写过程结束 心跳通讯是保证kafka的高可用 Kafka读数据流程 1. 连接zk集群，从zk中拿到对应的topic的partitio
Kafka - Log Segment read方法解析
qq_29342297的博客
02-26 266
Log Segment read 方法源码解析 read方法执行流程图： 第一步：查找索引确定读取物理文件位置 val startOffsetAndSize = translateOffset(startOffset) /** * Find the physical file position for the first message with offset >= the requested offset. 查找偏移量>=请求的偏移量的第一条消息的物理文件位置。 * *
kafka为什么那么快&磁盘顺序读写与内存随机读写
imjavaxb的博客
11-05 3738
Kafka的消息是保存或缓存在磁盘上的，你可能会认为：在磁盘上读写数据是会降低性能的，因为-！-寻址-！-会比较消耗时间。事实上，磁盘读写的快慢取决于你怎么使用它了（顺序读写、随机读写）。--(零拷贝)技术可以减少数据拷贝和共享总线操作的次数，消除通信数据在存储器之间不必要的中间拷贝过程，有效地提高通信效率，是设计高速接口通道、实现高速服务器和路由器的关键技术之一 Zero Copy中直接从内核空...
Kafka消费者——从 Kafka读取数据
weixin_33693070的博客
08-11 1554
应用程序使用 KafkaConsumer向 Kafka 订阅主题，并从订阅的主题上接收消息 。 从 Kafka 读取数据不同于从其他悄息系统读取数据，它涉及一些独特的概念和想法。如果不先理解 这些概念，就难以理解如何使用消费者 API。所以我们接下来先解释这些重要的概念，然 后再举几个例子，横示如何使用消费者...
【Kafka】从kafka中读取最新数据
junR_980218的博客
08-15 9327
【Kafka】从kafka中读取最新数据
kafka搭建
qq_43509550的博客
10-30 190
1.kafka安装包 下载地址：https://mirrors.aliyun.com/apache/kafka/ 2.kafka安装包上传到服务器并解压 tar -zxvf /opt/soft/kafka_2.11-0.10.2.1.tgz -C /opt/apps/ 3.进入kafka的config目录下，修改server.properties文件 vim server.properties broker.id=1 listeners=PLAINTEXT://0.0.0.0:9092 advertised
【kafka基础】-- 读写流程及举例
欢迎来到我的博客，一起探索代码里的世界！
06-14 2832
1. 连接到 zk 集群，从 zookeeper 中拿到对应的 topic 的 partition 信息和 partition 的 leader 的相关信息 2. 连接到对应的 leader 对应的 broker 3. producer 将消息发送到 partition 的leader上 4. leader 将消息写入本地 log， follower 从 leader pull 同步消息 5. 写入本地 log 后，依次向 leader 返回/发送 ack 6. leader 收到所有 replicatio
就业提升day04.docx
04-12
除了Producer，Kafka还有另一个重要组件是Consumer，它是消息的消费者，用于从Kafka Broker中读取消息的客户端。每个Consumer都属于一个Consumer Group，多个Consumer可以组成一个Consumer Group来共同消费一个或多...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值