kafka生产消息核心流程

最新推荐文章于 2024-07-16 11:00:38 发布
最新推荐文章于 2024-07-16 11:00:38 发布
阅读量281 收藏
点赞数
文章标签： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yclly319213_0/article/details/119678693
版权
本文介绍了Kafka 0.8.2版本后引入的Java客户端，并重点讲解了生产者配置参数，特别是acks选项，包括0、1、-1三种模式下数据丢失的可能性和性能影响。此外，还提到了batch.num.messages参数，它控制批量发送消息的数量，以及message.send.max.retries参数，定义了消息发送失败后的重试次数。
摘要由CSDN通过智能技术生成

生产者

kafka在0.8.2版本开发了一套java版本的client api，对原来包里面的生产者和消费者逻辑用java语言重新实现，独立了一个新的client包。在 0. 10 版本之后的 Kafka推荐使用java版本的客户端。在0.8.2版本之前还是使用老的Scala语言编写的客户端。
在启动生产者之前一些重要的配置介绍。生产者有很多属性可以设置，大部分都有合理的默认值，无需调整。有些参数可能对内存使用，性能和可靠性方面有较大影响。
acks：代理收到消息后向生产者发生消息确认，生产者根据acks值做出相应的处理。通过设置request.required.acks 设置，取值可为 0、－1 、 l 中之一，默认取 l 。
（1）acks=0 生产者发送信息到代理，不需要等待代理响应，可以连续的发送消息。这种提供的吞吐量，但是有可能会丢失数据。
（2）acks=1 生产者发送消息到代理，需要等待leader副本已经成功的将消息写入到日志文件中，这种方式一定程度上降低了丢失数据的可能性，但是也会出现丢失数据的情况。如果leader副本在接收到消息后突然宕机，然后其他的follower副本还未来得及进行数据同步，这个时候重新进行leader选举，新的leader副本是从原理的follower副本中选举的，那么原理leader副本中接收到的还未来得及同步得消息就会丢失。
（3）acks=-1 leader副本和其他isr列表中的副本都完成了数据存储才会向生产者发送确认消息。这种策略只要leader副本和follower副本至少有一个存活数据就不会丢失。为了保证数据不丢失，就需要保证同步的副本个数需要至少大于1 ，通过配置 min.insync.replicas 设置，当同步副本数不足此配置值时，生产者会抛出异常。这种吞吐量比较高。
batch.num.messages ：Kafka 支持消息批量向代理特定分区 发送消息，表示每次批量发送消息的最大消息数， 当生产者采用同步模式发送时该配置项将失效。
message.send.max.retries 生产者向代理发送消息失败后重试次数，默认是3次

去天堂使坏
关注
多图详解kafka生产者消息发送过程
JAVAQXQ的博客
07-28 1158
整个生产者客户端是由主线程和Sender线程协调运行的,主线程创建消息,然后通过拦截器、元信息更新、序列化、分区器、缓存消息等等流程。然后Sender线程在初始化的时候就已经运行了,并且是一个while循环。Sender线程里面主要工作是寻找ReadyNodes去消息累加器里面获取有哪些Node是能够发送Request的。只要该Node有一个TopicPartition队列中有符合发送条件的Batch。那么这个Node就应该是ReadyNode。具体的筛选逻辑请看上文有具体分析。控制的。中。...
Kafka生产者消息发送流程原理及源码分析
ningkangming的博客
06-11 1561
Kafka是一个分布式流处理平台，它能够以极高的吞吐量处理数据。在Kafka中，生产者负责将消息发送到Kafka集群，而消费者则负责从Kafka集群中读取消息。本文将探讨Kafka生产者消息发送流程的细节，包括消息的序列化、分区分配、记录提交等关键步骤。先看一个生产者发送消息的代码样例通过跟踪producer.send源码可知生产者发送消息的大体流程如下图，RecordAccumulator的消息发送到brokers实际上由Sender线程处理，下图暂时忽略，先看producer主线程处理的一些细节。
Kafka消息的生产
『程序员·小李』的博客
07-23 1492
如果acks=1，只要集群的首领节点收到消息，生产者就会收到一个来自服务器的成功响应。如果消息成功写入Kafka，就返回一个RecordMetaData对象，它包含了主题和分区信息，以及记录在分区里的偏移量。如果键不为空，并且使用了默认的分区器，那么Kafka会对键进行散列，然后根据散列值把消息映射到特定的分区上。我们知道为了实现高可用，Kafka的分区是建立副本的，指定这个参数也是为了高可用，防止消息丢失。acks参数指定了必须要有多少个分区副本收到消息，生产者才会认为消息写入是成功的。...
Kafka的工作流程
最新发布
My_wife_QBL的博客
07-16 1246
消息生产: 生产者将消息发送到Kafka集群，并选择目标分区。消息存储: Broker将消息持久化到磁盘，并通过副本机制保证数据的高可用性和容错性。消息消费: 消费者从Kafka集群拉取消息，并处理消息。消费者定期提交消费进度，以确保消息的准确处理和故障恢复。通过理解Kafka的工作流程，可以更好地应用Kafka构建高性能、高可靠性的实时数据处理系统。Kafka的设计理念和丰富的生态系统也使其成为现代数据流处理的重要工具。
KAFKA 消息生产过程
weixin_30716725的博客
08-06 203
写入方式 producer 采用推（push）模式将消息发布到 broker，每条消息都被追加（append）到分区（patition）中，属于顺序写磁盘（顺序写磁盘效率比随机写内存要高，保障 kafka 吞吐率） 分区（Partition） 消息发送时都被发送到一个 topic，其本质就是一个目录，而 topic 是由一些 ...
从源码分析如何优雅的使用 Kafka 生产者
weixin_34228662的博客
10-11 140
前言 在上文 设计一个百万级的消息推送系统 中提到消息流转采用的是 Kafka 作为中间件。 其中有朋友咨询在大量消息的情况下 Kakfa 是如何保证消息的高效及一致性呢？ 正好以这个问题结合 Kakfa 的源码讨论下如何正确、高效的发送消息。 内容较多，对源码感兴趣的朋友请系好安全带
kafka生产/消费消息
阅读之后，对你有帮助，那就点个赞再走吧
09-27 1130
发送一些消息 Kafka自带一个命令行客户端，它从文件或标准输入中获取输入，并将其作为message（消息）发送到Kafka集群。默认情况下，每行将作为单独的message发送。 运行 producer，然后在控制台输入一些消息以发送到服务器。 1 2 3 > ./kafka-console-producer.sh --broker-list localhost:9092 --topic test This is a message...
Kafka 消息队列（高清版）深入理解Kafka：核心设计与实践原理.zip
05-15
《Kafka 消息队列（高清版）深入理解Kafka：核心设计与实践原理》是一本详尽探讨Apache Kafka的书籍，旨在帮助读者深入掌握Kafka的核心设计理念和实际操作技巧。Kafka是一个分布式流处理平台，广泛应用于大数据处理...
30分钟带你图解 Kafka 生产者初始化核心流程
m0_69305074的博客
05-05 644
认真读完这篇文章，我相信你会对 Kafka 生产初始化源码有更加深刻的理解。 这篇文章干货很多，希望你可以耐心读完。 01 总体概述 我们都知道在 Kafka 中，我们把产生消息的一方称为生产者即 Producer，它是 Kafka 核心组件之一，也是消息的来源所在。那么这些生产者产生的消息是如何传到 Kafka 服务端的呢？初始化过程是怎么样的呢？接下来会逐一讲解说明。 02 生产者初始化核心组件及流程剖析 我们先从生产者客户端构造 KafkaProducer 开始讲起： Prope
kafka核心概念
01-07
消息记录(record): 由一个key，一个value和一个时间戳构成，消息最终存储在主题下的分区中, 记录在生产者中称为生产者记录(ProducerRecord), 在消费者中称为消费者记录(ConsumerRecord)，Kafka集群保持所有的消息，...
kafka生产过程相关总结
qq_42456324的博客
05-26 597
1、生产者消息发送流程 Kafka的producer发送消息采用的是异步发送的方式。在消息发送的过程中，涉及到了两个线程——main线程和Sender线程，以及一个线程共享变量——RecordAccumulator。main线程将消息发送给RecordAccumulator，Sender线程不断地从RecordAccumulator中拉取消息发送到Kafka broker。 2、生产者的分区 2.1、分区的原因 （1）便于合理使用资源，Kafka中将一个主题分成多个分区，分别放在多台机器上
【Kafka精进系列005】Kafka生产者流程客户端消息发送过程解析
noaman_wgs的博客
04-20 713
在前两节博客中，我们已经演示了如何在Docker搭建Kafka集群以及实现Kafka的消息发送和接收过程. 本文将深入Kafka Producer的消息发送过程，从源码的角度梳理下Kafka的发送过程。 注：本文Kafka源码版本：1.0.0. 一、KafkaProducer介绍 1、KafkaProducer介绍与使用 KafkaProducer是Kafka的客户端、消息的生产者，用来将消息发...
「Kafka」Kafka生产数据和消费数据（三）
技术路上的探险家
04-25 1890
把当前的DOS窗口当成Kafka的客户端，那么进行操作前，就需要连接服务器，这里的参数就表示服务器的连接方式，因为我们在本机启动Kafka服务进程，且Kafka默认端口为9092，所以此处，后面接的参数值为localhost:9092，用空格隔开。把当前的DOS窗口当成Kafka的客户端，那么进行操作前，就需要连接服务器，这里的参数就表示服务器的连接方式，因为我们在本机启动Kafka服务进程，且Kafka默认端口为9092，所以此处，后面接的参数值为localhost:9092，用空格隔开。
kafka 生产者 生产消息
guoruijun_2012_4的专栏
08-28 136
package com.jasongj.kafka.producer; import java.util.Properties; import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.Producer; import org.apache.kafka.clients.producer.ProducerRecord; import org.apache.kafka.c
kafka的生产者的生产流程
健康平安的活着的专栏
03-03 796
2.1 kafka的生产方式 Producer采用推（push）模式将消息发送到broker，每条消息都被追加（append）到分区（partition）中，属于顺序写磁盘（顺序写磁盘效率比随机写要高，保障kafka吞吐率，在读取使用的时候读取速度也会更快）。 kafka集群有多个消息代理服务器（broker-server）组成，发布到Kafka集群的每条消息都有一个类别，用主题（topic...
二、Kafka生产与消费全流程
来xghuang666的专栏
06-13 2182
代码见：代码中使用到了自定义序列化。id的长度4个字节，字符串的长度描述4个字节， 字符串本身的长度nameSize个字节自定义序列化容易导致程序的脆弱性。举例，在我们上面的实现里，我们有多种类型的消费者，每个消费者对实体字段都有各自的需求，比如，有的将字段变更为long型，有的会增加字段，这样会出现新旧消息的兼容性问题。特别是在系统升级的时候，经常会出现一部分系统升级，其余系统被迫跟着升级的情况。解决这个问题，可以考虑使用自带格式描述以及语言无关的序列化框架。
Kafka生产过程原理
互联网知识分享
05-13 159
Kafka以分区作为最小的粒度，将每个分区分配给消费者组中不同的而且是唯一的消费者，并确保一个分区只属于一个消费者，即这个消费者就是这个分区的唯一读取线程。那么，只要分区的消息是有序的，消费者处理的消息顺序就有保证。每个主题有多个分区，不同的消费者处理不同的分区，所以Kafka不仅保证了消息的有序性，也做到了消费者的负载均衡。但由于消息是异步发送给消费者的，消息到达消费者的顺序可能是无序的，这就意味着在并行消费时，传统消息系统无法很好地保证消息被顺序处理。）上面的流程到后面的进行细讲。
kafka工作流程分析-生产过程
小哇
08-17 354
Kafka 生产过程分析 写入方式producer 采用推（push）模式将消息发布到 broker，每条消息都被追加（append）到分区（patition）中，属于顺序写磁盘（顺序写磁盘效率比随机写内存要高，保障 kafka 吞吐率）。 分区（Partition）消息发送时都被发送到一个 topic，其本质就是一个目录，而 topic 是由一些 Partition Logs(分区日志)组成，其组织结构如下图所示： 我们可以看到，每个Partition 中的消息都是有序的，生产的消息...
07、Kafka ------ 消息生产者（演示 发送消息） 和 消息消费者（演示 监听消息）
Java 领域技术分享
01-09 1617
Kafka ------ 消息生产者（演示 发送消息） 和 消息消费者（演示 监听消息）
深入理解Kafka生产者：发送消息与定制分区
Kafka生产者发送消息的流程如下： 1. **创建ProducerRecord对象**：生产者在发送消息时，首先将消息封装为`ProducerRecord`对象，该对象包含目标主题（topic）、消息内容，以及可选的键（key）和分区号（partition...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值