Kafka（4）——第三章：Kafka 生产者——向kafka写入数据

最新推荐文章于 2024-02-16 19:14:29 发布

想当厨子的程序媛

最新推荐文章于 2024-02-16 19:14:29 发布

阅读量820

点赞数

分类专栏： Kafka 文章标签： Kafka 生产者

本文链接：https://blog.csdn.net/xiaojie_570/article/details/86765369

版权

本文介绍了Kafka生产者的主要内容，包括生产者概览、配置、发送消息到Kafka的同步与异步方式，以及序列化器的使用。在生产者概览中，阐述了生产者在消息发送过程中的角色和主要步骤。配置部分强调了bootstrap.servers、key.serializer和value.serializer的重要性。发送消息章节详细解释了同步和异步发送的实现，而序列化器部分则说明了如何处理键值对象的序列化以便在网络中传输。

摘要由CSDN通过智能技术生成

一、生产者概览

1.1 先举个例子

在一个信用卡事务处理系统里，有一个客户端应用程序，它可能是一个在线商店，每当又支付行为发生时，它负责把食物发送到 Kafka 上。另一个应用程序根据规则引擎检查这个事物，决定是批准还是拒绝。批准或者拒绝的响应消息被写回Kafka，然后发送给发起食物的在线商店。第三个应用程序从Kafka 上读取事物和审核状态，把它们保存到数据库，随后分析师可以对这些结果进行分析，或许还能借此改进规则引擎。

1.2 Kafka 发送消息的主要步骤

在这里插入图片描述
我们从创建一个 ProducerRecord 对象开始，ProducerRecord 对象需要包含目标主题和要发送的内容。我们还可以指定键和分区。在发送 ProducerRecord 对象时，生产者要先把键值对象序列化成字节数组，这样它们才能够在网络上传输。

接下来，数据被传给分区器。如果之前在 ProducerRecord 对象里指定了分区，那么分区器就不会再做任何事情，直接把指定的分区返回。如果没有指定分区，那么分区器会根据 ProducerRecord 对象的键来选泽一个分区。选好分区之后，生产者就知道该往哪个主题和分区发送这条记录了。紧接着，这条记录被添加到一个记录批次里，这个批次里的所有消息会被发送到相同的主题和分区上。有一个独立的线程负责把这些记录批次发送到相应的 broker 上。

服务器再收到这些消息时会返回一个响应。