大数据学习—Kafka的核心调优参数

最新推荐文章于 2022-01-05 22:03:46 发布
最新推荐文章于 2022-01-05 22:03:46 发布
阅读量433 收藏
点赞数
分类专栏： 大数据 文章标签： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shuimuzh123/article/details/120493140
版权

随着大数据开发的发展，越来越多的人想要转行或者学习大数据开发这一块，工资和发展前景都让大家越来越看好。而kafka作为一个核心模块，是学习过程的一个要点知识，今天我们就一起来看一下关于Kafka的核心调优参数。

 

kafka的配置属性多达几百个，在生产环境中对kafka进行调优时，要如何设置Kafka的核心调优参数？在调优之前，我们要先分析业务场景，然后在吞吐量、延时、可靠性和可用性4个方面做权衡。

下面我们就从这四个方面来了解一下，从而逐一分析kafka应该设置哪些核心属性以及提供建议值。

  1. 吞吐量优先

吞吐量优先意味着需要尽可能提升每秒发送消息的吞吐量

常见场景：日志收集

最低0.47元/天 解锁文章
加米谷大数据张老师
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Kafka-Kafka核心参数详解
weixin_43874650的博客
12-16 1061
Kafka的HighLevel API使用是非常简单的，所以梳理模型时也要尽量简单化，主线清晰，细节慢慢扩展。Kafka提供了两套客户端API，HighLevel API和LowLevel API。HighLevel API封装了kafka的运行细节，使用起来比较简单，是企业开发过程中最常用的客户端API。而LowLevel API则需要客户端自己管理Kafka的运行细节，Partition，Offset这些数据都由客户端自行管理。这层API功能更灵活，但是使用起来非常复杂，也更容易出错。
kafka 核心参数
peidezhi的专栏
11-07 322
一、broker级静态参数 1log.dirs 数据保存路径 在线上生产环境中一定要为log.dirs配置多个路径，比如/home/kafka1,/home/kafka2,/home/kafka3这样。 如果有条件的话你最好保证这些目录挂载到不同的物理磁盘上。这样做有两个好处： a)提升读写性能： 比起单块磁盘，多块物理磁盘同时读写数据有更高的吞吐量。...
Kafka参数调优实战
遥望......
10-20 424
目录 1、背景引入：很多同学看不懂Kafka参数 2、一段Kafka生产端的示例代码 3、内存缓冲的大小 4、多少数据打包为一个Batch合适？ 5、要是一个Batch迟迟无法凑满咋办？ 6、最大请求大小 7、重试机制 8、持久化机制 1、背景引入：很多同学看不懂kafka参数 今天给大家聊一个很有意思的话题，大家知道很多公司都会基于Kafka作为MQ来开发一些复杂的大型系统。 而在使用Kafka的客户端编写代码与服务器交互的时候，是需要对客户端设置很多的参数的。 所以我就见过很多年
kafka的核心参数配置
wangzhaotongalex的专栏
08-20 1093
2. kafka配置参数 broker.id：broker的id，id是唯一的非负整数，集群的broker.id不能重复。 log.dirs：kafka存放数据的路径。可以是多个，多个使用逗号分隔即可。 port：server接受客户端连接的端口，默认6667 zookeeper.connect：zookeeper集群连接地址。 格式如：zookeeper.connect=server01...
Kafka企业搭建之核心参数详解
百看不如一RUN
08-01 245
服务端核心参数 broker.id=0 每个broker唯一id号，在源码里面是根据这个来判定一个broker的 listeners=hostname://:9092 当前broker对外提供访问的broker num.network.threads=3 是服务端将请求转发时候的线程数，一般设置为 6 或者 9 根据自己机器的性能以及业务场景 num.io.threads=8 真正处理数据的线程 一般为io密集型 设计为2-3倍比较好 log.dirs 我们有多块硬盘 log.dirs=/data0
大数据之Kafka学习
最新发布
01-04
Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop...
kafka配置调优实践
11-12
Kafka 配置调优实践是指通过调整 Kafka 集群的参数配置来提高其吞吐性能。下面是 Kafka 配置调优实践的知识点总结： 一、存储优化 * 数据目录优先存储到 XFS 文件系统或者 EXT4，避免使用 EXT3。 * 在挂载块设备时...
大数据之Kafka
09-26
大数据之kafka相关介绍与说明 1、笔记 2、资料 3、代码 4、视频
基于臭氧的Kafka自适应调优方法ENLHS
07-07
海量数据发送到Kakα后，如果不针对实际资源环境进行调优， Kafka使用默认的配置参数无法保证其在毎个生产环境下的性能。因为Kaka自身的配置项非常大，传统的自适应算法在大规模生产系统中的性能较差。为了提高 ...
kafka配置调优1
08-08
本篇文章将深入解析Kafka的核心配置参数，并探讨如何优化这些参数以提升性能。 1. **Broker身份标识**： `broker.id` 是每个Kafka节点在集群中的唯一标识，不能与其他broker冲突，通常从0开始。 2. **服务端口**...
Kafka 问题以及调优参数集锦
cuichunchi的博客
01-05 561
producer类参数： 1、request.timeout.ms:配置控制客户端等待请求响应的最长时间。如果在超时时间过去之前未收到响应，则客户端将在必要时重新发送请求，或者在重试次数用尽时使请求失败。默认值：30000ms。 注：该参数适合集群资源不高，带宽较低、且生产者频繁发送消息到topic。超时可能报以下错误信息，我在压测过程中发现的错误信息，并改为了60s，集群3台带宽4M（理想吞吐512KB/s）. Expiring 7 record(s) for test_producer-0: 60
kafka学习笔记：知识点整理
GarfieldEr007的专栏
01-22 1458
一、为什么需要消息系统 1.解耦： 允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 2.冗余： 消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消息队列所采用的”插入-获取-删除”范式中，在把一个消息从队列中删除之前，需要你的处理系统明确的指出该消息已经被处理完毕，从而确保你的数据被安全的保存直到你使用完毕。 3.扩展性
Kafka动态调整topic副本因子replication-factor
热门推荐
russle的专栏
10-26 2万+
实际项目中我们可能在创建topic时没有设置好正确的replication-factor，导致kafka集群虽然是高可用的，但是该topic在有broker宕机时，可能发生无法使用的情况。topic一旦使用又不能轻易删除重建，因此动态增加副本因子就成为最终的选择。 原因分析： 假设我们有3个kafka broker分别brokerA、brokerB、brokerC. 当我们创建的topic有3个...
wurstmeister/kafka 2.3设置默认副本数
johnhuster的专栏
01-25 2155
kafka是使用十分广泛的一款消息中间件，凭借其强大的吞吐以及可靠性获得了不错的口碑，其在大数据传输方面也有应用，wurstmeister/kafka是目前使用最多的一个kafka docker镜像。kafka的副本数在kafka的高可用性上有着至关重要的作用，笔者的一篇文章中说到了可以通过KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR设置__consumer_offsets主题的副本数，__consumer_offsets主题是用来存储其他主题各个分区消费进度的主题，这是ka
Kafka消息可靠性配置
russle的专栏
12-01 1340
Kafka发送消息是异步的，因此如果没有设置异步回调异常处理，很容易导致消息丢失而且系统不知道的情况的。 因此我们在业务有需要的情况下，配置好消息的可靠性参数。 主要配置以下参数 block.on.buffer.full = true acks = all or -1 retries = Integer.MAX_VALUE max.in.flight.requests.per.connection...
【Kafka】kafka 创建 topic的时候 Replication factor 参数理解
九师兄
11-18 2765
Partitions与Replication Factor调整准则 Partition 数目与Replication Factor是在创建一个topic时非常重要的两个参数，这两个参数的取值会直接影响到系统的性能与稳定性。 尽量在第一次创建一个topic时就指定这两个参数，因为 如果Partition 数目在之后再次做调整，则会打乱key的顺序保证（同样的key会分布到不同的partition上） 如果Replication Factor在之后再次增加，则会给集群带来更大的压力，可能会导致性能下降 Par
Kafka 设置分区副本数 replication.factor
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
01-28 1万+
副本数是1 ，意思是就一个分区，同时也是主分区 副本数是2，意思是有2个分区，1个是主分区，1个是从分区 副本数已把主分区数包含在内。 设置replication.factor >= 3。这也是Broker端的参数。保存多份消息冗余。 replication.factor，用来设置主题的副本数。每个主题可以有多个副本，副本位于集群中不同的broker上，也就是说副本的数量不能超过broker的数量，否则创建主题时会失败。 比如partions 设置为20，replication...
kafka系列（15）：集群配置参数server.properties
xsxy0506的博客
05-28 4329
offsets.topic.replication.factor=3 解释：该值默认为1。表示kafka的内部topic consumer_offsets副本数。当该副本所在的broker宕机，consumer_offsets只有一份副本，该分区宕机。使用该分区存储消费分组offset位置的消费者均会收到影响，offset无法提交，从而导致生产者可以发送消息但消费者不可用。所以需要设置该字段的值大于1。 ...
Kafka可靠数据传递
fangmeng1997的博客
09-10 317
一、 可靠性保证 Kafka 到底在什么情况下才能保证消息不丢失呢？ 一句话概括，Kafka 只对“已提交”的消息（committed message）做有限度的持久化保证。 Kafka 的可靠性保证： Kafka 可以保证分区消息的顺序。 只有当消息被写入分区的若干同步副本时，才被认为是已提交的。为什么是若干个 Broker 呢？这取决于你对“已提交”的定义。你可以选择只要 Leader 成功保存该消息就算是已提交，也可以是令所有 Broker 都成功保存该消息才算是已提交。 只要还有一个副本是存活的，
kafka producer 调优
09-17
Kafka生产者性能的调优非常重要，因为它直接影响到整个系统的吞吐量和延迟。下面是一些提升Kafka生产者性能的技巧： 1. 批量发送消息：通过批量发送消息可以减少网络开销和TCP连接的次数，从而提高性能。 2. 指定分区：默认情况下，Kafka会使用轮询的方式将消息发送到不同的分区。但是，如果你知道消息应该发送到哪个分区，可以通过指定分区来减少计算的开销。 3. 使用压缩算法：对于大型消息或者大型批次，可以考虑使用压缩算法来减少网络传输的数据量，从而提高性能。 4. 合理设置ACKs参数：ACKs参数指定了生产者接收到的确认消息的数量。对于数据的可靠性要求较高的场景，可以设置为all，即需要所有的副本都确认消息才算成功。但是这样会增加延迟。如果对于延迟要求较低，可以设置为1，即只需要leader副本确认消息。 除了以上的技巧，还可以考虑进行硬件配置优化、网络配置优化、Kafka生产者代码优化等方面的调优。例如，通过调整发送缓冲区大小、使用异步发送和批处理消息等方式来提高性能。 总之，通过综合考虑硬件、网络、代码和其他因素的调优，可以提升Kafka生产者的性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值