kafka源码学习之--生产者原理

最新推荐文章于 2023-07-01 12:08:43 发布
最新推荐文章于 2023-07-01 12:08:43 发布
阅读量1.3k 收藏 1
点赞数
分类专栏： kafka 文章标签： kafka java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45558737/article/details/121665126
版权

1.生产者发送消息

1.1 找到kafka生产者入口–这里通过KafkaTemplate发送消息

在这里插入图片描述

点击send()方法，进入doSend()
在这里插入图片描述

ProducerRecord主要是创建要发送到 Kafka 的记录，topic需要指定，其他参数可自配
在这里插入图片描述
KafkaTemplate通过工厂模式创建kafkaProducer

在这里插入图片描述

找到ProducerFactory的实现类进入DefaultKafkaProducerFactory的createProducer方法
在这里插入图片描述
找到创建kafkaProducer的位置
在这里插入图片描述

在kafkaProducer里面，创建kafkaProduce实例，并且创建了一个sender对象，启动了一个io线程
这个io线程就是kafka发送线程，生产者发送消息时，这个线程会被唤醒
在这里插入图片描述
kafkaProducer创建完成之后，在回到消息发送的位置
在这里插入图片描述

调用send()方法发送消息
在这里插入图片描述
在kafkaProducer sender发送线程被唤醒之前，kafkaProducer的main线程会进行几个逻辑处理

1.拦截器逻辑

在这里插入图片描述
走代码中可以看出，生产者可以实现你多个拦截器，形成一个拦截链
在这里插入图片描述

发送消息测试
在这里插入图片描述

2.用指定的序列化器分别对key，value进行序列化

在这里插入图片描述

3.指定分区器

kafka的消息会发送到partiton中，但是具体到哪个分区器,可以自己指定，没有指定的话，kafka已经实现自动分配，分4中情况
1.在指定partition情况下，直接将指定的partition作为partiton值
在这里插入图片描述
2.没有指定partiton但是自定义了分区器
在这里插入图片描述
在这里插入图片描述
3.没有指定partiton但是存在key的情况下，会使用默认的分区器DefaultPartitioner
在这里插入图片描述
4.在既没有指定partiton也没有指定key的情况下，第一次调用时，会随机生成一个整数(之后每次调用在这个基础上自增）然后将这个值对当前topic可用的partiton取余（轮询round-robin）
在这里插入图片描述
4.消息累加器
在这里插入图片描述
分区选择完成后，并没有立即将消息发送出去，而是把消息放进了一个累加器(ConcurrentMap)缓存起来，什么时候发送跟batch-size有关
在这里插入图片描述
在这里插入图片描述
kafka尽可能的保证消息先往一个分区里发送，当这个分区的batch-size已经不足以在继续追加存放消息，kafka会考虑更换一个pattition分区继续往该分区的的累加器里累加消息，如果再次追加失败，这个时候kafka会新建batch，不会在尝试了，新建与否通过这个参数控制abortForNewBatch
在这里插入图片描述

在这里插入图片描述

最后唤醒sender线程发送消息
在这里插入图片描述

热心的小哥
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Kafka系列（五）：Kafka之Producer生产者
weixin_42575542的博客
11-11 722
Kafka之Producer生产者Producer工作流程SpringBoot集成Kafka导入依赖参数自定义配置发送消息测试Producer相关自定义配置消息分区机制Producer拦截器无消息丢失配置producer端配置broker端配置消息压缩 Producer工作流程 producer首先使用一个线程，将待发送的消息封装进一个ProducerRecord类实例，然后将其序列化给分区器，再由后者确定了目标分区后一同发送到位于producer程序的一块内存缓冲区。而producer的另一个工作线程则负
spring-kafka整合:KafkaTemplate-kafka模板类介绍
PacosonSWJTU的博客
11-13 1万+
【README】 1，本文主要关注 KafkaTemplate的重点方法，并非全部方法； 2，KafkaTemplate 底层依赖于 DefaultKafkaProducerFactory ， 关于 DefaultKafkaProducerFactory 的介绍，refer2 spring-kafka整合:DefaultKafkaProducerFactory默认kafka生产者工厂介绍_PacosonSWJTU的博客-CSDN博客【1】 类描述类描述：单例共享 Producer 实例的 Prod..
Springboot实战14 消息驱动：如何使用 KafkaTemplate 集成 Kafka？
sucaiwa的博客
04-09 2062
消息通信机制的整体工作流程如下图所示：消息通信机制示意图上图中位于流程中间的就是各种消息中间件，消息中间件一般提供了消息的发送客户端和接收客户端组件，这些客户端组件会嵌入业务服务中。消息的生产者负责产生消息，在实际业务中一般由业务系统充当生产者；而消息的消费者负责消费消息，在实际业务中一般是后台系统负责异步消费。消息通信有两种基本模型，即发布-订阅（Pub-Sub）模型和点对点（Point to Point）模型，发布-订阅支持生产者消费者之间的一对多关系，而点对点模型中有且仅有一个消费者。
kafka template操作kafka
weixin_43018910的博客
02-08 1万+
依赖 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-streams</artifactId> </dependency> <dependency> <groupId>org.springframework.kafka&lt
Spring Boot 中的 KafkaTemplate 是什么，原理，如何使用
stormjun的博客
07-01 1805
Kafka 是一个流行的分布式消息系统，Spring Boot 提供了对 Kafka 的支持，我们可以使用 KafkaTemplate 来发送和接收 Kafka 中的消息。在使用 KafkaTemplate 时，我们可以使用 send 方法来发送消息，也可以使用其他方法来满足需求。在使用 KafkaTemplate 时，我们需要配置 KafkaProducer 的属性，并注意一些注意事项，如线程安全、异步发送等。对于更加复杂的场景，我们还可以使用更加灵活的配置来满足需求。
Spring-Kafka系列(2)——SpringKafka生产者KafkaTemplate
SpringBoy的博客
06-20 6753
SpringBoot为Kafka提供了两种配置方式SpringBoot提供了配置类，且会将开头的配置项值注入的配置类中 在使用Kafka配置项时只需要将其注入即可 在spring的配置文件中配置如下： 2.2 SpringKafka生产者KafkaTemplate 2.2.1 创建一个生产者KafkaTemplate 创建流程：application.ymlKafkapropertiesProducerFactoryKafkaTemplate 2.2.2 KafkaTemplate发送消息方法 Kafka
java开发kafka-clients所需要的所有jar包以及源码
07-17
Java开发Kafka客户端是构建基于Apache Kafka的应用程序的关键步骤，Kafka-clients库提供了与Kafka服务器进行交互的API，支持生产者和消费者的实现。在Java中使用Kafka-clients，你需要包含相应的jar包，这些包包含了...
Apache Kafka 3.1.0 (kafka-3.1.0-src.tgz)
02-16
- **Producers**：生产者负责发布消息到Kafka的主题中。 - **Consumers**：消费者从主题中读取消息，可以是单个消费者或者消费者组。 - **Zookeeper**：Kafka依赖Zookeeper进行元数据管理和协调，如管理集群配置...
kafka-clients源码.zip
07-17
通过深入研究kafka-clients的源码，我们可以更好地理解Kafka的工作原理，提升开发效率，解决实际问题，同时为优化和扩展Kafka-clients提供理论基础。在实际开发中，结合源码调试和学习，将使我们对Kafka-clients有更...
kafka-2.6.0-src.rar
05-25
Kafka 采用发布/订阅模型，由生产者、消费者和 broker 组成。生产者负责发布消息到主题，消费者则订阅并消费这些消息。Broker 是 Kafka 的核心组件，存储并转发消息。 2. **主题与分区** 主题是逻辑上的分类，而...
kafka-2.1.0-src.zip
12-10
《深入理解Kafka源码：2.1.0版本解析》 Kafka作为一个高效、可扩展、持久化的消息中间件，已经成为大数据领域的基石之一。它以其强大的吞吐能力、低延迟特性和分布式架构赢得了广大开发者和企业的青睐。本文将基于...
kafka-2.5.0-src.zip
07-12
7. **config**：配置文件目录，包含Kafka服务器、生产者、消费者的配置模板，通过修改这些配置可以定制化Kafka的行为。 8. **docs**：官方文档，提供了详尽的API参考和用户指南，是学习和解决问题的重要资源。 9. ...
kafka-2.2.0-src.zip
08-22
Kafka主要由四个组件构成：Producers（生产者）、Brokers（代理服务器）、Consumers（消费者）和Topics（主题）。生产者负责发布消息到主题，代理服务器存储并转发消息，消费者则从主题中消费消息。主题被分成多个...
kafka-cn-notes：kafka2.7源码阅读分析中文注释
02-25
生产者负责将数据写入Kafka的Topic，Kafka提供了同步和异步两种写入方式。同步模式保证消息的顺序，异步模式则提供更高的吞吐量。 6. **Consumers** 消费者以消费组的形式工作，同一消费组内的成员共享Partition...
kafka2.2.0-analyse:kafka2.2.0原始码解析-源码解析
03-24
- **生产者**：在 Kafka 2.2.0 中，生产者优化了批量发送和延迟提交策略，提高了整体性能。源码分析可以揭示如何实现异步发送、重试机制和错误处理。 - **消费者**：Kafka 的消费者通过消费组来实现负载均衡，源码...
kafka --- 生产者
beiduofen2011的专栏
11-12 2684
主要讲两个重要点：1、分区选择 2、ack机制 springboot中现在已经嵌入了kafka，可以直接用KafkaTemplate进行操作，和RestTemplate类似 maven中配置： <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifac...
Spring-Kafka配置读取与KafkaTemplate多实例实现
u010218286的博客
03-16 1万+
Spring-Kafka配置读取与默认实现的初始化Spring-Kafka版本信息Spring-Kafka配置读取类默认Bean的实现KafkaTemplate多实例使用 Spring-Kafka版本信息 工作也好多年了，头一次写博客，内容也比较简单，希望大家多多支持，多提建议。 本篇文章根据以下版本依赖进行说明 <dependency> &lt...
kafka发送消息的三种方式
热门推荐
bin的主栏
05-31 1万+
1、发后即忘（fire-and-forget） 只管往kafka发送消息而并不关心消息是否正确到达。正常情况没什么问题，不过有些时候（比如不可重试异常）会造成消息的丢失。这种发送方式性能最高，可靠性最差。 kafkaTemplate.send(topic, msg) 2、同步发送(sync) 其实kafkaTemplate.send方法并不是返回void，而是ListenableFuture<SendResult<K, V>>，该类继承了jdk concurrent包的Fu
KafkaTemplate发送消息及结果回调
u012632105的博客
08-03 3919
KafkaTemplate发送消息及结果回调
spring-kafka生产者集成
最新发布
10-12
要在Spring中集成Kafka生产者，需要进行以下步骤： 1. 添加Kafka依赖项 在Maven或Gradle中添加Kafka依赖项，例如： Maven: ``` <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> <version>2.7.2</version> </dependency> ``` Gradle: ``` implementation 'org.springframework.kafka:spring-kafka:2.7.2' ``` 2. 配置Kafka生产者 在Spring的配置文件中，配置Kafka生产者的相关属性，例如： ``` spring.kafka.bootstrap-servers=localhost:9092 spring.kafka.producer.key-serializer=org.apache.kafka.common.serialization.StringSerializer spring.kafka.producer.value-serializer=org.apache.kafka.common.serialization.StringSerializer ``` 3. 创建KafkaTemplate 使用Spring提供的KafkaTemplate类来发送消息到Kafka，例如： ``` @Autowired private KafkaTemplate<String, String> kafkaTemplate; public void sendMessage(String topic, String message) { kafkaTemplate.send(topic, message); } ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值