kafka java生产者_Kafka 生产者 Java 实现

创建生产者

向 Kafka 写入消息，首先要创建一个生产者对象，该对象有3个必要属性。

bootstrap.servers

指定 broker 的地址列表，地址的格式为 host:port。

不需要包含所有的 broker 地址，生产者会通过给定的 broker 查找到其他 broker 的信息。建议至少提供两个 broker 的信息，防止其中一个宕机。

key.serializer

Kafka 客户端默认提供了 ByteArraySerializer、 StringSerializer 和 IntegerSerializer，因此如果使用常见的 Java 对象类型，不需要实现自己的序列化器 。如果要自定义序列化器，需要实现 org.apache.kafka.common.serialization.Serializer 接口。

需要注意，key.serializer 是必须设置的，即使只发送值类型。

value.serializer

与 key.serializer 一样， value.serializer 指定的类会将值序列化发送给 broker。

创建生产者示例：

Properties kafkaProps = new Properties();

kafkaProps.put("bootstrap.servers"，"broker1:9092,broker2:9092");

kafkaProps.put("key.serializer"，

"org.apache.kafka.common.serialization.StringSerializer");

kafkaProps.put("value.serializer",

"org.apache.kafka.common.serialization.StringSerializer") ;

KafkaProducer producer = new KafkaProducer(kafkaProps);

发送消息

实例化生产者对象后，就可以开始送消息了。发送消息主要有以下 3 种方式：

发送并忘记(fire-and-forget)

把消息发送给服务器，不关心是否正常到达。大多数情况下，消息会正常到达，因为 Kafka 是高可用的，而且生产者会自动尝试重发。不过，使用这种方式有时候也会丢失一些消息。

同步发送(async)

使用 send() 方法发送消息，会返回一个 Future 对象，调用 get() 方法阻塞等待返回，返回结果知道是否发送成功。

异步发送(sync)

使用 send() 方法并指定一个回调函数，服务器在返回响应时调用该函数。

最简单的消息发送方式：

ProducerRecord record =

new ProducerRecord<>("CustomerCountry", "Precision Products", "France");

try {

producer.send(record);

} catch (Exception e) {

e.printStackTrace();

}

同步发送消息方式：

ProducerRecord record =

new ProducerRecord<>("CustomerCountry", "Precision Products", "France");

try {

// 调用 get() 方法获取返回值

producer.send(record).get();

} catch (Excepti.on e) {

e.printStackTrace();

}

send() 方法返回一个 Future 对象，然后调用 get() 方法等待 Kafka 响应。如果服务器返回错误， get() 方法会抛出异常。如果没有发生错误，我们会得到一个 RecordMetadata 对象，可以获取消息的偏移量(offset)。

KafkaProducer 一般会发生两类错误。

一类是可重试错误，可以通过重发消息来解决。比如“连接错误”，可以通过再次建立连接来解决。另一类错误无出通过重试解决 ，比如“消息太大”。对于这类错误，KafkaProducer 不会进行任何重试，直接抛出异常。

异步发送消息方式：

class DemoProducerCallback implements Callback {

@Override

public void onCompletion(RecordMetadata recordMetadata, Exception e) {

if (e != null) {

e.printStackTrace();

}

}