Kafka 客户端开发

前两篇文章讲述了 Kafka 的 工作机制 和 服务器集群部署。至此，Kafka 服务器已就绪，本文分别以官方API、Spring、SpringBoot三种构建方式，讲述了 Kafka 消费生产者和消费者的开发。 

作者：王克锋 
出处：https://kefeng.wang/2017/11/18/kafka-development/ 
版权：自由转载-非商用-非衍生-保持署名，转载请标明作者和出处。

1 开发概述

Kafka 中，客户端与服务端是通过 TCP 协议进行的； 
Kafka 公布了所有功能协议(与特定语言无关)，并把 Java 客户端作为 kafka 项目的一部分进行维护。 
其他非 Java 语言的客户端则作为独立的开源项目提供，非 Java 客户端的名单可在 这里。

Kafka 提供了五类 API： 
- Producer API: 向主题(一个或多个)发布消息； 
- Consumer API: 订阅主题(一个或多个)，拉取这些主题上发布的消息； 
- Stream API: 作为流处理器，从主题消费消息，向主题发布消息，把输出流转换为输入流；可参考 例子； 
- Connect API: 作为下游或上游，把主题连接到应用程序或数据系统(比如关系数据库)，通常不需要直接使用这些API，而是使用 现成的连接器； 
- AdminClient API: 管理(或巡查) topic, brokers, 或其他 kafka 对象；

2 基于官方 API 开发

2.1 Maven 依赖

<dependency>
    <groupId>ch.qos.logback</groupId>
    <artifactId>logback-classic</artifactId>
    <version>1.2.3</version>
</dependency>
<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>1.0.0</version>
</dependency>

2.2 logback.xml(日志配置，可选)

<?xml version="1.0" encoding="UTF-8"?>
<configuration scan="false">

    <contextName>logback</contextName>

    <appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender">
        <encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">
            <pattern>%d{HH:mm:ss.SSS}  %p  [%F:%L] - %m%n</pattern>
        </encoder>
    </appender>

    <root level="INFO">
        <appender-ref ref="CONSOLE" />
    </root>
</configuration>

2.3 演示类 KafkaClientDemo.java

生产者：相应函数为 KafkaClientDemo.producerDemo()，其中 props 完整参数配置项见 Producer Configs 
消费者：相应函数为 KafkaClientDemo.consumerDemo()，其中 props 完整参数配置项见 New Consumer Configs 和 Old Consumer Configs

public class KafkaClientDemo {
    private static final Logger logger = LoggerFactory.getLogger(KafkaClientDemo.class);
    private static final String BROKER_SERVERS = "centos:9091,centos:9092,centos:9093";
    private static final String TOPIC_NAME = "topicName";

    public static void producerDemo() {
        // 配置选项
        Properties props = new Properties();
        props.put("bootstrap.servers", BROKER_SERVERS); // [必填] Kafka Broker 地址列表
        props.put("key.serializer", "org.apache.kafka.common.serialization.IntegerSerializer"); // [必填] KEY 的序列化类
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer"); // [必填] VALUE 的序列化类
        // props.put("partitioner.class", "org.apache.kafka.clients.producer.internals.DefaultPartitioner"); // [默认值] 结合主题的分区个数和KEY，使得消息平均地分配给分区

        Producer<Integer, String> producer = new KafkaProducer<Integer, String>(props); // 建立连接
        for (int id = 1; id <= 8; ++id) {
            final int key = id;
            final String value = String.format("msg#%d", key);
            ProducerRecord<Integer, String> record = new ProducerRecord<Integer, String>(TOPIC_NAME, key, value);
            producer.send(record, new Callback() {
                public void onCompletion(RecordMetadata meta, Exception e) {
                    logger.info("KafkaProducer.push(\"{}\", {}, {}, {}, \"{}\") OK.",
                            meta.topic(), meta.partition(), meta.offset(), key, value);
                }
            }); // 推送消息
        }
        producer.flush(); // 提交
        producer.close(); // 关闭连接