面试官:Kafka 为什么那么快?

文章详细分析了Kafka在生产者、Broker和服务端的性能优化策略。生产者通过批量发送和自定义压缩协议提升效率;Broker利用PageCache加速读写,顺序写入和零拷贝技术提高性能;消费者通过消费组并行消费提升消费速度。
摘要由CSDN通过智能技术生成

有人说:他曾在一台配置较好的机子上对 Kafka 进行性能压测,压测结果是 Kafka 单个节点的极限处理能力接近每秒 2000万 条消息,吞吐量达到每秒 600MB。

那 Kafka 为什么这么快?如何做到这个高的性能?

本篇文章主要从这 3 个角度来分析:

  • 生产端

  • 服务端 Broker

  • 消费端

先来看下生产端发送消息,Kafka 做了哪些优化?

(1)生产端 Producer

先来回顾下 Producer 生产者发送消息的流程:

  1. 首先指定消息发送到哪个 Topic

  2. 选择一个 Topic 的分区 partitiion,默认是轮询来负载均衡。

    也可以指定一个分区 key,根据 key 的 hash 值来分发到指定的分区。

    也可以自定义 partition 来实现分区策略。

  3. 找到这个分区的 leader partition

  4. 与所在机器的 Broker 的 socket 建立通信。

  5. 发送 Kafka 自定义协议格式的

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值