大数据学习—Kafka的核心调优参数

本文探讨了Kafka在大数据开发中的重要性,并详细介绍了针对吞吐量、延时、可靠性和可用性四个方面的核心调优参数。重点讨论了压缩类型选择、acks配置以及副本策略对性能的影响,为实际生产环境中的Kafka调优提供了指导。
摘要由CSDN通过智能技术生成

随着大数据开发的发展,越来越多的人想要转行或者学习大数据开发这一块,工资和发展前景都让大家越来越看好。而kafka作为一个核心模块,是学习过程的一个要点知识,今天我们就一起来看一下关于Kafka的核心调优参数。

 

kafka的配置属性多达几百个,在生产环境中对kafka进行调优时,要如何设置Kafka的核心调优参数?在调优之前,我们要先分析业务场景,然后在吞吐量、延时、可靠性和可用性4个方面做权衡。

下面我们就从这四个方面来了解一下,从而逐一分析kafka应该设置哪些核心属性以及提供建议值。

  1. 吞吐量优先

吞吐量优先意味着需要尽可能提升每秒发送消息的吞吐量

常见场景:日志收集

压缩类型为什么选择lz4? 因为这种类型的压缩方式下,吞吐量最大。吞吐量优先时,会占用大量的网络带宽,如果不希望影响整个网络,可

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值