Kafka 实战 - Java中Kafka生产者的基本实现

在Java中实现Kafka生产者的基本功能，需要使用Apache Kafka提供的KafkaProducer类及其相关API。以下是一个简单的Java代码示例，展示如何创建Kafka生产者、配置其属性、发送消息以及关闭生产者：

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.common.serialization.StringSerializer;

import java.util.Properties;

public class SimpleKafkaProducer {

    public static void main(String[] args) {
        // 1. 配置生产者属性
        Properties props = new Properties();
        props.put("bootstrap.servers", "localhost:9092"); // Kafka broker列表
        props.put("key.serializer", StringSerializer.class.getName()); // 键序列化器
        props.put("value.serializer", StringSerializer.class.getName()); // 值序列化器

        // 2. 创建生产者实例
        Producer<String, String> producer = new KafkaProducer<>(props);

        // 3. 发送消息
        for (int i = 0; i < 10; i++) {
            String key = "key-" + i;
            String value = "message-" + i;
            ProducerRecord<String, String> record = new ProducerRecord<>("my-topic", key, value);
            producer.send(record, (metadata, exception) -> {
                if (exception != null) {
                    exception.printStackTrace(); // 处理发送异常
                } else {
                    System.out.printf("Produced record to topic '%s' partition [%d] @ offset %d%n",
                            metadata.topic(), metadata.partition(), metadata.offset());
                }
            });
        }

        // 4. 关闭生产者
        producer.close();
    }
}

代码解析：

1. 配置生产者属性：

   • bootstrap.servers：设置Kafka集群的Broker地址列表，这里使用localhost:9092作为示例。在实际环境中，应替换为实际的Broker地址。
   • key.serializer 和 value.serializer：指定键和值的序列化器，这里使用StringSerializer，表示发送的消息键和值都是字符串类型。根据实际业务需求，可以使用其他序列化器，如LongSerializer、JsonSerializer等。

2. 创建生产者实例：

   • 使用配置好的属性创建KafkaProducer实例。生产者实例是线程安全的，可以在多线程环境中复用。

3. 发送消息：

   • 循环生成10条消息，每条消息包含一个键（key）和一个值（value）。
   • 创建ProducerRecord对象，指定消息要发送的主题（my-topic）、键和值。
   • 使用producer.send()方法发送消息。这里使用了异步发送方式，并传入一个回调函数，当消息发送完成（无论成功或失败）时，回调函数会被调用。在回调函数中，可以处理发送结果或异常。

4. 关闭生产者：

   • 在程序结束前，调用producer.close()方法关闭生产者，释放资源。确保在不再需要生产者时关闭它，以避免资源泄露。

以上代码实现了Java中Kafka生产者的基本功能。在实际项目中，可能还需要考虑消息批次发送、事务性消息、消息压缩、重试策略等高级特性，这些可以通过进一步配置和使用KafkaProducer的相应API来实现。