kafka生产者Producer参数设置及参数调优建议-商业环境实战系列

最新推荐文章于 2024-08-28 23:24:42 发布
最新推荐文章于 2024-08-28 23:24:42 发布
阅读量2.1k 收藏 3
点赞数
分类专栏： kafka 文章标签： kafka调优 参数设置
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ffzhihua/article/details/88419828
版权
本文详细介绍了Kafka生产者Producer的工作流程，并提供了关键参数的调优建议，包括acks、buffer.memory、compression.type、retries、batch.size、linger.ms和max.in.flight.requests.per.connection。针对商业环境，推荐设置acks为-1以确保高持久性和无数据丢失，调整buffer.memory以避免阻塞，使用lz4压缩以实现高效压缩，以及合理设置batch.size、linger.ms和max.in.flight.requests.per.connection来平衡吞吐量和延时性能。
摘要由CSDN通过智能技术生成

kafka生产者Producer参数设置及参数调优建议-商业环境实战系列

 

 

1. Producer核心工作流程

  • Producer首先使用用户主线程将待发送的消息封装进一个ProducerRecord类实例中。
  • 进行序列化后，发送给Partioner，由Partioner确定目标分区后，发送到Producer程序中的一块内存缓冲区中。
  • Producer的另一个工作线程（即Sender线程），则负责实时地从该缓冲区中提取出准备好的消息封装到一个批次的内，统一发送给对应的broker中。

2. producer 主要参数设置

2.1 producer 参数acks 设置（无数据丢失）

在消息被认为是“已提交”之前，producer需要leader确认的produce请求的应答数。该参数用于控制消息的持久性，目前提供了3个取值：

acks = 0: 表示produce请求立即返回，不需要等待leader的任何确认。这种方案有最高的吞吐率，但是不保证消息是否真的发送成功。

acks = -1: 表示分区leader必须等待消息被成功写入到所有的ISR副本(同步副本)中才认为produce请求成功。这种方案提供最高的消息持久性保证，但是理论上吞吐率也是最差的。

acks = 1: 表示leader副本必须应答此produce请求并写入消息到本地日志，之后produce请求被认为成功。如果此时leader副本应答请求之后挂掉了，消息会丢失。这是个这种的方案

最低0.47元/天 解锁文章
秋天的春
关注
专栏目录
03、storm项目实战课程-Kafka0.8Optr2.rar
11-30
Kafka的生产者（Producer）负责发布消息到主题（Topic），消费者（Consumer）则可以从主题中订阅并消费消息。 在实际项目中，Storm和Kafka的集成常见于实时数据流处理场景。例如，可以设置Storm从Kafka的某个主题中...
参数 中_Kafka中Producer关键参数配置说明
weixin_34404808的博客
01-13 453
生产环境中使用Kafka，参数调优非常重要，而Kafka参数众多，下面介绍一些经常设置的重要参数。一、buffer.memoryKafka的客户端发送数据到服务器，不是来一条就发一条，而是经过缓冲的，也就是说，通过KafkaProducer发送出去的消息都是先进入到客户端本地的内存缓冲里，然后把很多消息收集成一个一个的Batch，再发送到Broker上去的，这样性能才可能高。buffer.memo...
Kafka参数调优
紫蝶侠的博客
11-04 5674
1.broker Kafka性能调优 kafka性能调优 2. producer buffer.memory:33554432 (32m) #在Producer端用来存放尚未发送出去的Message的缓冲区大小。缓冲区满了之后可以选择阻塞发送或抛出异常，由block.on.buffer.full的配置来决定。 compression.type:none #默认发送不进行压缩，推荐配置一种适合的压缩算法，可以大幅度的减缓网络压力和Broker的存储压力。 linger.ms:0 #Producer
kafka ---- producer与broker配置详解以及ack机制详解
最新发布
qq_41768644的博客
08-28 1157
kafka ---- producer与broker配置详解以及ack机制详解
kafka生产者Producer参数设置及参数调优建议-kafka 商业环境实战
weixin_34138255的博客
10-28 2534
kafka商业环境实战系列 本套系列博客从真实商业环境抽取案例进行总结和分享，并给出kafka商业应用的调优建议和集群环境容量规划等内容，请持续关注本套博客。版权声明：本套kafka调优系列版权归作者(秦凯新)所有，禁止转载，欢迎学习。 作者：秦凯新 地址：于深圳 kafka 商业环境实战-kafka生产环境规划 kafka 商业环境实战-kafka生产者和消费者吞吐量测试 kafka 商...
Kafka - producer 参数整理与生产数据丢失分析
BITDDD小栈
11-03 1418
一.引言 使用 KafkaProducer 生产数据并按照 interval = 60s 的间隔进行日志回收，执行 KafkaProducer.send 参数分析 buffer_memory: kafka 客户端发送数据到服务器会经过缓冲区，通过 KafkaProducer 发送出去的小气都是先进入客户端本地的缓存里，再通过 Sender 线程将多个batch 的数据发送到 Broker，buffer_memory 初始化设置为 32mb 存在的问题: 消息写入过快或者写入量过大，Send.
Kafka调优
weixin_47626220的博客
05-04 1865
topic分区数和消费者数量 topic的分区数大于等于消费者内节点数 存储日志： 每个日志文件的文件名为起始偏移量，因为每个分区的起始偏移量是0，所以，分区的日志文件都以0000000000000000000.log开始； 默认的每个日志文件最大为「log.segment.bytes =102410241024」1G； 为了简化根据offset查找消息，Kafka日志文件名设计为开始的偏移量。 写入日志： 新的消息总是写入到最后的一个日志文件中 该文件如果到达指定的大小（默认为：1GB）时，将滚动到一个新
confluent-kafka-dotnet-1.4.3.zip
07-21
2. 生产者：创建一个Kafka生产者实例，配置服务器地址、主题等参数，然后通过`ProduceAsync`方法发送消息到指定主题。 3. 消费者：建立消费者实例，加入消费者组，设置订阅的主题，通过`Consume`方法接收消息。注意...
最新版linux kafka_2.12-2.6.1.tgz
01-14
- **生产者（Producer）**: 生产者是数据的来源，负责将消息发送到Kafka的Topic（主题）。 - **消费者（Consumer）**: 消费者从Topic订阅消息，进行处理或存储。 - **Topic（主题）**: Topic是逻辑上的分类，是...
Kafka全面教程，适合项目实战（包括源码剖析）
09-25
- 生产者：使用`kafka-python`库中的`KafkaProducer`类，初始化时设置必要的参数，然后通过`send()`方法发送消息。 - 消费者：同样使用`kafka-python`库中的`KafkaConsumer`类，初始化时设置参数，使用`subscribe...
kafka-demo
08-17
3. 生产者（Producer）：生产者是数据的来源，负责将消息发送到Kafka的指定主题和分区。 4. 消费者（Consumer）：消费者从Kafka中读取并处理消息。Kafka支持多消费者组模型，同一组内的消费者会通过消费位移...
Kafka Producer Acks机制
u013433591的博客
12-29 1662
kafka producer ack机制、min.insync.replicas、生产者如何保证数据不丢
kafka高性能设计之内存池
Java技术攻略的博客
05-08 406
Kafka的内存池是一个用于管理内存分配的缓存区域。它通过在内存上保留一块固定大小的内存池，用于分配消息缓存、批处理缓存等对象，以减少频繁调用内存分配函数的开销。Kafka内存池的实现利用了Java NIO中的 ByteBuffer。当需要创建一个新的缓存对象时，内存池会取出一块固定大小的内存块，并在存储内存池对象的池中保存该内存块的引用。当该内存块不再被使用时，内存池将把它收回，以供下一次使用。
深入浅出理解kafka原理系列之：发送消息的缓冲区机制buffer.memory、batch.size、linger.ms
zhengzaifeidelushang的博客
12-16 3685
深入理解kafka原理：发送消息的缓冲区机制buffer.memory、batch.size、linger.ms一、buffer.memory二、batch.size三、linger.ms kafka默认会创建一个消息缓冲区，用来存放要发送的消息，缓冲区是32M kafka本地线程会去缓冲区中一次拉16k的数据，发送到broker 如果线程拉不到16k的数据，间隔10ms也会将已拉到的数据发送到broker 一、buffer.memory 设置发送消息的本地缓冲区，如果设置了该缓冲区，消息会先发送到本
kafka-生产者如何提高吞吐量及数据可靠性
weixin_43119856的博客
09-08 1262
kafka-生产者如何提高吞吐量及数据可靠性
Kafka Producer的Ack机制
weixin_45079319的博客
01-20 2663
Kafka Producer的Ack机制 Kafka的Ack机制指producer的消息发送确认机制，其影响kafka集群的吞吐量和消息可靠性。 Ack=0，相当于异步发送，意味着producer不等待broker同步完成，消息发送完毕继续发送下一批信息。提供了最低延迟，但持久性最弱，当服务器发生故障时很可能发生数据丢失。如果leader死亡，producer继续发送消息，broker接收不到数据...
Kafka基础概念
Yuwen_forJava的博客
04-12 846
1. 楔子 公司项目开发用到了kafka，可是某个菜鸟不会，于是不得不进行的为期一周的晚自习去恶补相关知识。 但是恶补来知识很零散，所以趁这次周末写一篇博客，总结一下得失，顺便查缺补漏。 2. Kafka 2.1 Kafka是什么 Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息...
Kafka一些参数配置
weixin_43705952的博客
05-05 563
Producer消息发送原理 Producer发送一条消息，首先需要选择一个topic的分区，默认是轮询来负载均衡，但是如果指定了一个分区key，那么根据这个key的hash值来分发到指定的分区，这样可以让相同的key分发到同一个分区里去，还可以自定义partitioner来实现分区策略。 producer.send(msg); // 用类似这样的方式去发送消息，就会把消息给你均匀的分布到各个分区...
kafka-producer参数详解
热门推荐
鸭鸭的博客
03-15 1万+
producer参数 主要介绍下kafka的producer配置参数，只取了其中的一部分常用的，后续的有时间，也会补充一些，更多的详细参数，可以参考《kafka官网连接》，参数的内容，主要是选取《apache kafka实战》书中的一些讲解和官网相互参看 bootstrap.servers 该参数指定了一组 host:port 对，用于创建向 Kafka broker 服务器的连接，比如 k...
Kafka生产者配置详解：关键参数设置
"kafka生产者参数配置用于在各种编程语言中设置Kafka生产者的关键选项，包括必填和非必填参数，确保消息正确发送到Kafka集群。" 在Kafka中，生产者是负责将数据发布到主题的组件。为了正确地配置Kafka生产者，了解...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值