java调用kafka接口发送数据_Java调用Kafka生产者，消费者Api及相关配置说明

本次的记录内容包括：

1.Java调用生产者APi流程

2.Kafka生产者Api的使用及说明

3.Kafka消费者Api的使用及说明

4.Kafka消费者自动提交Offset和手动提交Offset

5.自定义生产者的拦截器，分区器

那么接下来我就带大家熟悉以上Kafka的知识说明

1.Java调用生产者APi流程

首先上一张从网上找的简单的图，来描述一下生产者的生产流程。这里这个的图描述的不是非常精确，稍微有点问题的地方就是省略了拦截器内容，这块的内容在实际场景中也经常使用

那么从图中我们可以看到。生产者通过调用api的Send方法开始进行一些列生产控制操作，首先进入的是一个叫序列化器的处理结构(这里就先按图来讲了--实际第一步会先经过拦截器)，那么这一步主要的操作就是序列化相关数据，保证数据传输的稳定准确性，个人理解需要序列化的原因是因为kafka是磁盘文件写消息，序列化后悔经过分区器，主要就是我们上篇讲过的关于如何生产消息分区的策略，主要有三种，1.指定分区，2根据key的hash取余有效分区数分区，3初始化整数，轮训分区。具体细节请参考上一篇文章(https://www.cnblogs.com/hnusthuyanhua/p/12355216.html)。经过分区后消息将会发送到指定的分区供消费者消费。

那么从图中我们还可以看到有一个RecordMetaData的存在，这又是干什么的呢？这里就又设计到另一个知识点了。由于在网上未找打相关描述图，我这里就粗略说明一下

大致的kafka生产者程序一般是有两类线程进行，一个是主线程，另一个是生产消息的线程，他们质检有一个RecoderMetaData作为消息存储缓存，同时也是线程共享变量，当主线程不断生产消息，本质上就是不断累积RecoderMetaData的缓存值，当缓存值达到限定时，生产者线程开始讲数据发送至kafka.。那么kafka生产者的一个流程大概就是这样了

2.Kafka生产者Api的使用及说明

大致流程：配置kafka property信息---构建生产者---构建消息---发送消息---关闭资源

@Slf4j

public class KafkaProduce {

public static void main(String[] args) {

Properties properties = new Pr