kafka生产者和消费者实例配置入门

kafka生产者和消费者实例配置入门：

创建主题：

kafka-topics.bat --zookeeper localhost:2181/kafka --create --topic hello-kafka --replication-factor 1 --partitions 4

一、pom文件配置： 

我们这里使用 Kafka 内置的客户端 API 开发 kafka 应用程序。因为我们是 Java 程序员，所以这里我们使用 Maven ，使用最新版本

<dependency>
 <groupId>org.apache.kafka</groupId>
 <artifactId>kafka-clients</artifactId>
<version>2.3.0</version> 
</dependency>

二、生产者代码：

1、核心代码

public static void main(String[] args) {
        //TODO 生产者三个属性必须指定(broker地址清单、key和value的序列化器)
        Properties properties = new Properties();
        properties.put("bootstrap.servers","127.0.0.1:9092");
        properties.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        properties.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        KafkaProducer<String,String> producer = new KafkaProducer<String, String>(properties);
        try {
            ProducerRecord<String,String> record;
            try {
                //TODO 发送4条消息
                for(int i=0;i<4;i++){
                    record = new ProducerRecord<String,String>(BusiConst.HELLO_TOPIC, null,"lison");
                    producer.send(record);//发送并发忘记（重试会有）
                    System.out.println(i+"，message is sent");
                }
            } catch (Exception e) {
                e.printStackTrace();
            }
        } finally {
            producer.close();
        }
    }

2、必选属性：

创建生产者对象时有三个属性必须指定。

1）bootstrap.servers

该属性指定 broker 的地址清单，地址的格式为 host:port 。清单里不需要包含所有的 broker 地址，生产者会从给定的 broker 里查询其他 broker 的信息。 不过最少提供 2 个 broker 的信息 ( 用逗号分隔，比如 : 127.0.0.1:9092,192.168.0.13:9092) ，一旦其中一个宕机，生产者仍能连接到集群上。

2）key.serializer

生产者接口允许使用参数化类型，可以把 Java 对象作为键和值传 broker ，但是 broker 希望收到的消息的键和值都是字节数组，所以，必须提供将对象序列化成字节数组的序列化器 key.serializer 必须设置为实现 org.apache.kafka.common.serialization.Serializer 的接口类， Kafka 的客户端默认提供了 ByteArraySerializer,IntegerSerializer, StringSerializer，也可以实现自定义的序列化器。

3）value.serializer

同 key.serializer 保持一致 。

三、消费者代码：

1、核心代码

public static void main(String[] args) {
        //TODO 消费者三个属性必须指定(broker地址清单、key和value的反序列化器)
        Properties properties = new Properties();
        properties.put("bootstrap.servers","127.0.0.1:9092");
        properties.put("key.deserializer", StringDeserializer.class);
        properties.put("value.deserializer", StringDeserializer.class);

        //TODO 群组并非完全必须
        properties.put(ConsumerConfig.GROUP_ID_CONFIG,"test1");
        KafkaConsumer<String,String> consumer = new KafkaConsumer<String, String>(properties);
        try {
            //TODO 消费者订阅主题（可以多个）
            consumer.subscribe(Collections.singletonList(BusiConst.HELLO_TOPIC));
            while(true){
                //TODO 拉取（新版本）
                ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(500));
                for(ConsumerRecord<String, String> record:records){
                    //提交偏移量(提交越频繁，性能越差)
                    System.out.println(String.format("topic:%s,分区：%d,偏移量：%d," + "key:%s,value:%s",record.topic(),record.partition(),
                            record.offset(),record.key(),record.value()));
                    //do my work(业务异常，可能进行重试  偏移量，写入主题 异常主题)
                    //打包任务投入线程池
                }
                //提交偏移量
            }

            //通过另外一个线程 consumer. wakeup()
        } finally {
            consumer.close();
        }

    }

2、必选属性：

bootstrap.servers 、 key.serializer 、 value.serializer 含义同生产者一致。

group.id

并非完全必需，它指定了消费者属于哪一个群组，但是创建不属于任何一个群组的消费者并没有问题。

新版本特点：poll(Duration) 这个版本修改了这样的设计，会把元数据获取也计入整个超时时间。

四、演示需求：

1. 默认创建主题，只有一个分区时，演示生产者和消费者情况。

2. 修改主题分区为 2 （使用管理命令），再重新演示生产者和消费者情况。

到此，kafka简单的入门分享完毕，下篇我们深入分析kafka的生产者配置策略，敬请期待！