Kafka-生产者的原理分析

《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》，点击传送门，即可获取！

---

• bootstrap.servers: 该参数用来指定生产者客户端连接Kafka集群所需的broker地址清单。至少要设置两个以上的broker地址信息。

• key.serializer和value.serializer：broker端接收的消息必须以字节数组（byte[]）的形式存在。在发往broker之前需要将消息中对应的key和value做相应的序列化操作来转换成字节数组。

构建生产者实例

---

这仅仅是核心必填的参数，当然还有其他的参数配置。参数配置完成以后，我们创建一个生产者实例。

KafkaProducer<Stri ng, String> producer= new KafkaProducer<>(props) ;

KafkaProducer有多个构造方法，在实际应用而言，一般都选用 public KafkaProducer(Properties properties）这个构造方法来创建 KafkaProducer 实例。

KafkaProducer 是线程安全的，可以在多个线程中共享单个 KafkaProducer 实例，也可以将KafkaProducer 实例进行池化来供其他线程调用。

消息的发送

---

构建消息

构建消息，即创建 ProducerRecord 对象，构造方法有很多，根据需要选择。

public ProducerRecord(String topic, Integer partition, Long timestamp, K key, V value, Iterable

headers)

public ProducerRecord(String topic, Integer partition，Long timestamp, K key, V value)

public ProducerRecord(String topic, Integer partition，K key, V value, Iterable

headers)

public ProducerRecord(String topic, Integer partition, K key, V value)

public ProducerRecord(String topic, K key, V value)

public ProducerRecord(String topic, V value)

发送消息

创建生产者实例和构建之后，接下来就可以发送消息了，发送消息有以下三种模式：

1. 发后即忘（fire-and-forget）

• 只管往Kafka中发送消息而不关心消息是否正确到达。

2. 同步（sync）

3. 异步（async）

KafkaProducer的send()方法并非是void类型，而是Future类型，send方法有2个重载方法，

public Future send(ProducerRecord<K, V> record)

public Future send(ProducerRecord<K, V> record, Callback callback)

要实现同步的发送方式，可以利用返回的Future对象实现第一种方法

try {

producer.send(record).get();

} catch (ExecutionException | InterruptedException e) {

e.printStackTrace();

}

实际上send()方法本身是异步的，send()方法返回的Future对象可以使调用方稍后获得发送的结果。示例中在执行send()方法之后直接链式调用了get()方法来阻塞等待kafka的响应，知道消息发送成功，或者发生异常。如果发生异常，那么就需要捕获异常并交由外层逻辑处理。

​

也可以在执行完send()方法之后不直接调用get()方法，如下面的同步方法第二种方式的实现。

try {

Future future = producer.send(record);

RecordMetadata metadata = future.get();

System.out.println(metadata.topic() +“-” +metadata.partition()+“:”+metadata.offset());

} catch (ExecutionException | InterruptedException e) {

e.printStackTrace();

}

这样可以获取一个RecordMetadata对象，在RecordMetadata对象里包含了消息的一些元数据信息，比如当前消息的主题、分区号、分区中的偏移量（offset）、时间戳等。如果在应用代码中需要这些消息，则可以使用这个方式。如果不需要，则可以直接使用producer.send(record).get()方法。

Future表示一个任务的生命周期，并提供了相应的方法来判断任务是否已经完成或取消，以及获取任务的结果和取消任务等。

​

序列化(Serializer)

---

生产者需要用序列化器（Serializer）把对象转换成字节数组才能通过网络发送给Kafka。

消费者需要用反序列化器（Deserializer）把从Kafka中收到的字节数组转换成相应的对象。

​

分区器(Partitioner)

---

消息在通过send()方法发往broker的过程中，有可能需要经过拦截器（Interceptor）、序列化器（Serializer）和分区器（Partitioner）的一系列作用之后才能被真正的发往broker。拦截器一般不是必需的，而序列化器是必需的。消息经过序列化之后需要确定它发往的分区，如果消息ProducerRecord中指定了partition字段，那么就不需要分区器的作用，因为partition代表的就是所要发往的分区号。

​

如果消息ProducerRecord中没有指定partition字段，那么就需要依赖分区器，根据key字段来计算partition的值。分区器的作用是为消息分配分区。

​

拦截器(Interceptor)

---

生产者拦截器既可以用来在消息发送前做一些准备工作，比如按照某个规则过滤不符合要求的消息、修改消息的内容等，也可以用来在发送回调逻辑前做一些定制化的需求。

生产者客户端的整体架构

---

消息在真正发往Kafka之前，有可能需要经历拦截器、序列化器和分区器等一系列的作用，那么在此之后又会发送什么呢？

整个生产者客户端由两个线程协调运行，这两个线程分别为主线程和Sender（发送线程）。在主线程中由KafkaProducer创建消息，然后通过可能的拦截器、序列化器和分区器的作用之后缓存到消息累加器（RecordAccumulator,也称为消息收集器）中。Sender线程负责从RecordAccumulator中获取消息并将其发送到Kafka中。

RecordAccumulator 主要用来缓存消息以便Sender线程可以批量发送，进而减少网络传输的资源消耗以提升性能。

总结

面试难免让人焦虑不安。经历过的人都懂的。但是如果你提前预测面试官要问你的问题并想出得体的回答方式，就会容易很多。

此外，都说“面试造火箭，工作拧螺丝”，那对于准备面试的朋友，你只需懂一个字：刷！

给我刷刷刷刷，使劲儿刷刷刷刷刷！今天既是来谈面试的，那就必须得来整点面试真题，这不花了我整28天，做了份“Java一线大厂高岗面试题解析合集：JAVA基础-中级-高级面试+SSM框架+分布式+性能调优+微服务+并发编程+网络+设计模式+数据结构与算法等”

且除了单纯的刷题，也得需准备一本【JAVA进阶核心知识手册】：JVM、JAVA集合、JAVA多线程并发、JAVA基础、Spring 原理、微服务、Netty与RPC、网络、日志、Zookeeper、Kafka、RabbitMQ、Hbase、MongoDB、Cassandra、设计模式、负载均衡、数据库、一致性算法、JAVA算法、数据结构、加密算法、分布式缓存、Hadoop、Spark、Storm、YARN、机器学习、云计算，用来查漏补缺最好不过。

《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》，点击传送门，即可获取！
e、MongoDB、Cassandra、设计模式、负载均衡、数据库、一致性算法、JAVA算法、数据结构、加密算法、分布式缓存、Hadoop、Spark、Storm、YARN、机器学习、云计算，用来查漏补缺最好不过。

[外链图片转存中…(img-L0FwWiBZ-1714700655019)]

《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》，点击传送门，即可获取！