1.producer发送数据的总体流程

已于 2023-03-08 16:10:15 修改
阅读量155 收藏
点赞数
分类专栏： Kafka之producer源码解读 文章标签： kafka java 分布式
于 2023-03-08 15:37:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/WANGCHUNHE55/article/details/129404823
版权

1.producer发送数据的总体流程

在这里插入图片描述
1.创建一个kafkaproducer对象

2.会有一个拦截器，拦截一些消息，实际用处不大

3.之后经过序列化

4.经过分区器，将消息发送到对应的分区

5.消息缓存到recordacuumulator，kafka实际不是一条一条去发送的，而是封装成一个批次一个批次去发送的，这样吞吐量会比较高

6.缓存这里会有很对Dqueue队列，队列与分区有关系，每一个分区会对应一个队列，每个队列里面会有多个批次recordbatch（默认16k）

7.真正去发送消息的是sender线程

8.sender线程去缓存读取数据

9.然后封装成一个一个的网络请求ClientRequest,这些网络请求会发送给NetworkClient这个组件

10.真正发送数据的时候会将这些请求发送给Selector组件

11.Selector里面封装了很多kafkachannel（nio）

12.Selector执行网络请求，把消息发送到kafka集群

13.kafka集群会返回响应

一只王多鱼的分享
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
kafka实战篇（一）：Producer消息发送实战
静待花开
04-22 1万+
本文对kafka生产者发送消息的流程进行了详细的解释和实战，其中包含了新版本的kafka对于同步发送消息和异步发送消息的api实现，以及kafka源码里的回调函数和架构内部的失败重试机制等都给出了底层的详细解释及实战demo。
【RocketMQ|源码分析】Producer是如何发送消息的？
MarcoLin
03-25 237
Producer是RocketMQ中的消息发送者，本篇文章将介绍Producer是如何将消息发送到broker中。先看下官方文档中的例子，消息推送总共包括4个步骤创建Producer对象，并设置namesrv启动producer推送消息关闭producer// 1. 创建producer DefaultMQProducer producer = new DefaultMQProducer(PRODUCER_GROUP);
6、Producer发送消息的总体流程
weixin_45334938的博客
05-04 235
对于请求响应较慢的broker，可以在一段时间内将其状态置为不可用，消息队列选择时，会过滤掉mq认为不可用的broker，以此来避免不断向宕机的broker发送消息，选取一个延迟较短的broker，实现消息发送高可用。对于请求响应较慢的broker，可以在一段时间内将其状态置为不可用，消息队列选择时，会过滤掉mq认为不可用的broker，以此来避免不断向宕机的broker发送消息，选取一个延迟较短的broker，实现消息发送高可用。1、在消息的API中，最重要的是发送消息，需要高RTT。
RocketMQ源码(7)—Producer发送消息的总体流程【一万字】
终生学习践行者
09-06 1260
基于RocketMQ 4.9.3，详细的介绍了Producer发送消息的总体流程的源码，包括生产者重试机制、生产者故障转移机制、VIP通道等知识都会一一介绍。
4.Kafka Broker 总体工作流程和文件存储
qq_42008471的博客
03-24 1876
Kafka Broker 总体工作流程和文件存储 1.broker启动后在zk上注册 2.controller谁先注册，由哪个controller决定leader选举 3.由选举出来的Controller监听brokers节点变化 4.Controller决定leader选举 5.Controller将节点的信息上传到zk 6.其他Controller从zk上同步相关信息 7.如果Broker中的leader挂了 8.Controller监听到变化 9.获取zk上的ISR(存活的followers) 10
吃透Kafka七：Producer NIO 网络模型
吃透Java
03-19 378
主要讲述以下两个问题： Producer 的大概网络模型，与 Java NIO 模型之间关系； Producer 整体流程及其整体流程详解。 Producer 的网络模型 KafkaProducer 通过 Sender 进行相应的 IO 操作，而 Sender 又调用 NetworkClient 来进行 IO 操作，NetworkClient 底层是对 Java NIO 进行相应的封装，其网络模型如下图所示 从图中可以看出，Sender 为最上层的接口，即调用层，Sender 调用 NetworkCl
RocketMQ(五)producer发送消息的总体流程
djdjdxieuej的博客
12-13 1308
Producer发送消息的总体流程
Kafka写入数据的流程
jason19961027的博客
03-31 3792
Kafka写入流程： 1.producer 先从 zookeeper 的 “/brokers/…/state” 节点找到该 partition 的 leader 2. producer 将消息发送给该 leader 3. leader 将消息写入本地 log 4. followers 从 leader pull 消息，写入本地 log 后 leader 发送 ACK 5. leader 收到所有 ISR 中的 replica 的 ACK 后，增加 HW（high watermark，最后 commit 的
[RocketMQ] Producer发送消息的总体流程 (七)
959
06-26 1017
RocketMQ源码之Producer发送消息的总体流程源码分析
RocketMQ消息发送的全部流程和落盘原理分析
q1472750149的博客
12-22 1543
前言介绍 RocketMQ目前在国内应该是比较流行的MQ 了，目前本人也在公司的项目中进行使用和研究，借着这个机会，分析一下RocketMQ 发送一条消息到存储一条消息的过程，这样会对以后大家分析和研究RocketMQ相关的问题有一定的帮助。 技术范围 分析的总体技术范围发送到存储，本文的主要目的是主要是为了认识一条消息并分析被发出且被存储的，代码中，关于 MQ 文件系统的优化，设计等。 现在出发 来自官方源码example的一段发送代码： DefaultMQProducer producer
30分钟带你图解 Kafka 生产者初始化核心流程
m0_69305074的博客
05-05 635
认真读完这篇文章，我相信你会对 Kafka 生产初始化源码有更加深刻的理解。 这篇文章干货很多，希望你可以耐心读完。 01 总体概述 我们都知道在 Kafka 中，我们把产生消息的一方称为生产者即 Producer，它是 Kafka 核心组件之一，也是消息的来源所在。那么这些生产者产生的消息是如何传到 Kafka 服务端的呢？初始化过程是怎么样的呢？接下来会逐一讲解说明。 02 生产者初始化核心组件及流程剖析 我们先从生产者客户端构造 KafkaProducer 开始讲起： Prope
Kafka-Producer的实现细节
a1472750149的博客
01-24 2487
背景 遇到一些线上问题，发现对一些kakfa的配置细节不太了解，通过本文梳理一下认知，一些核心目标： 梳理一下Kafka-Client的主要流程 梳理一下Kafka-Client的配置，以及他们如何影响kafka的客户端发送 梳理一下kafka-Client的metric指标有哪些，如何配置和获取这些指标，以及如何利用这些指标进行观测和排查 主要流程 作为一个Producer来说其实核心是梳理2个东西：Sender和RecordAccumulator Sender： 是kafka发送流程的主要服务，
大数据-112 Flink DataStreamAPI 程序输入源 DataSource 基于文件、集合、Kafka连接器
永远好奇，无限进步！
08-31 4133
上节完成了FlinkYARN模式的启动和测试，测试了资源的分配和任务的提交。本节继续研究Flink的DataStreamAPI，研究了DataSource 基于文件、集合、Kafka连接器，附带依赖和代码。可以使用 StreamExecutionEnvironment.addSource()将一个数据源添加到程序中。Flink提供了许多预先实现的源函数，但是也可以编写自己的自定义源，方法是非并行源：implements SourceFunction。
kafka单条消息过大发送失败
hungteshun的专栏
08-30 564
生产者尝试发送到Kafka的消息在序列化后大小超过了Kafka配置中的参数的限制
Kafka【六】Linux下安装Kafka(Zookeeper)集群
小小默：进无止境
09-03 492
Kafka从早期的消息传输系统转型为开源分布式事件流处理平台系统，所以很多核心组件，核心操作都是基于分布式多节点的。本文这里采用三台虚拟机模拟真实物理主机搭建Zookeeper集群和kafka集群。VMware可以使用户在一台计算机上同时运行多个操作系统，还可以像Windows应用程序一样来回切换。用户可以如同操作真实安装的系统一样操作虚拟机系统，甚至可以在一台计算机上将几个虚拟机系统连接为一个局域网或者连接到互联网。
Kafka【四】Controller的选举机制
小小默：进无止境
08-29 1065
Kafka是分布式消息传输系统，所以存在多个Broker服务节点，但是它的软件架构采用的是分布式系统中比较常见的主从（Master - Slave）架构，也就是说需要从多个Broker中找到一个用于管理整个Kafka集群的Master节点，这个节点，我们就称之为Controller。它是Apache Kafka的核心组件非常重要。它的主要作用是在Apache Zookeeper的帮助下管理和协调控制整个Kafka集群。
Kafka 常用的传输和序列化数据方式
Casual_Lei的博客
09-03 650
ProtoBuf、Avro、Thrift 和 FlatBuffers是高效的二进制格式，适合高性能要求的系统。JSON 和 XML是文本格式，易于调试和阅读，但在性能上不如二进制格式。自定义二进制格式适用于特定的需求，提供最大化的优化空间，但开发和维护成本较高。选择合适的格式通常取决于你对性能、数据结构复杂性、跨平台需求和系统演进的需求。
《零散知识点 · Kafka 知识拓展》
最新发布
山人行
09-03 1020
本篇文章分享一下关于Kafka实战开发中一些拓展知识点。💗 后续会逐步分享企业实际开发中的实战经验，有需要交流的可以联系博主。
kafka.producer.linger
10-25
kafka.producer.linger是指Kafka生产者在发送消息之前等待的时间，以便将多个消息一起发送。这个参数可以用来控制生产者的批处理行为。 当生产者发送一条消息时，它会等待一段时间（由linger参数指定），以便可能将更多的消息一起发送。这样可以将多个小的消息组合成一个更大的批次，减少网络传输的次数，提高性能。 linger参数的单位是毫秒，可以根据生产者的需求进行调整。较小的值可以更频繁地发送消息，但也会增加网络负载。较大的值可以减少网络传输次数，但会增加消息传递的延迟。 这个参数可以在生产者的配置文件中配置，也可以在代码中通过设置ProducerConfig.LINGER_MS_CONFIG属性来进行配置。 需要注意的是，linger参数并不是说一定要等待指定的时间才会发送消息，如果有满足其他条件的触发条件出现，例如缓冲区已满或者达到了batch.size的限制，生产者会立即发送消息。 总的来说，通过适当配置kafka.producer.linger参数可以在提高性能的同时兼顾网络资源的利用率和消息传递的延迟。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值