Apache Kafka 简单消费者实例

我们已经创建了一个发送消息到Kafka集群的生产者。 现在让我们创建一个消费者来消费Kafka集群的消息。 KafkaConsumer API用于消费来自Kafka集群的消息。 KafkaConsumer类的构造函数定义如下。

public KafkaConsumer(java.util.Map<java.lang.String,java.lang.Object> configs)

configs - 返回消费者配置的地图。

KafkaConsumer类具有下表中列出的以下重要方法。

S.No	方法和说明
1	public java.util.Set< TopicPartition>assignment() 获取由用户当前分配的分区集。
2	public string subscription() 订阅给定的主题列表以获取动态签名的分区。
3	public void sub-scribe(java.util.List< java.lang.String> topics，ConsumerRebalanceListener listener) 订阅给定的主题列表以获取动态签名的分区。
4	public void unsubscribe() 从给定的分区列表中取消订阅主题。
5	public void sub-scribe(java.util.List< java.lang.String> topics) 订阅给定的主题列表以获取动态签名的分区。 如果给定的主题列表为空，则将其视为与unsubscribe()相同。
6	public void sub-scribe(java.util.regex.Pattern pattern，ConsumerRebalanceLis-tener listener) 参数模式以正则表达式的格式引用预订模式，而侦听器参数从预订模式获取通知。
7	public void as-sign(java.util.List< TopicPartion> partitions) 向客户手动分配分区列表。
8	poll() 使用预订/分配API之一获取指定的主题或分区的数据。如果在轮询数据之前未预订主题，这将返回错误。
9	public void commitSync() 提交对主题和分区的所有子编制列表的最后一次poll()返回的提交偏移量。 相同的操作应用于commitAsyn()。
10	public void seek(TopicPartition partition，long offset) 获取消费者将在下一个poll()方法中使用的当前偏移值。
11	public void resume() 恢复暂停的分区。
12	public void wakeup() 唤醒消费者。

ConsumerRecord API

ConsumerRecord API用于从Kafka集群接收记录。 此API由主题名称，分区号(从中接收记录)和指向Kafka分区中的记录的偏移量组成。 ConsumerRecord类用于创建具有特定主题名称，分区计数和< key，value>的消费者记录。 对。 它有以下签名。

public ConsumerRecord(string topic,int partition, long offset,K key, V value)

• 主题 - 从Kafka集群接收的使用者记录的主题名称。

• 分区 - 主题的分区。

• 键 - 记录的键，如果没有键存在null将被返回。

• 值 - 记录内容。

ConsumerRecords API

ConsumerRecords API充当ConsumerRecord的容器。 此API用于保存特定主题的每个分区的ConsumerRecord列表。 它的构造器定义如下。

public ConsumerRecords(java.util.Map<TopicPartition,java.util.List<ConsumerRecord>K,V>>> records)

• TopicPartition - 返回特定主题的分区地图。

• 记录 - ConsumerRecord的返回列表。

ConsumerRecords类定义了以下方法。

S.No	方法和描述
1	public int count() 所有主题的记录数。
2	public Set partitions() 在此记录集中具有数据的分区集(如果没有返回数据，则该集为空)。
3	public Iterator iterator() 迭代器使您可以循环访问集合，获取或重新移动元素。
4	public List records() 获取给定分区的记录列表。

配置设置

Consumer客户端API主配置设置的配置设置如下所示 -

S.No	设置和说明
1	引导代理列表。
2	group.id 将单个消费者分配给组。
3	enable.auto.commit 如果值为true，则为偏移启用自动落实，否则不提交。
4	auto.commit.interval.ms 返回更新的消耗偏移量写入ZooKeeper的频率。
5	session.timeout.ms 表示Kafka在放弃和继续消费消息之前等待ZooKeeper响应请求(读取或写入)多少毫秒。

SimpleConsumer应用程序

生产者应用程序步骤在此保持不变。 首先，启动你的ZooKeeper和Kafka代理。 然后使用名为 SimpleCon-sumer.java 的Java类创建一个 SimpleConsumer 应用程序，并键入以下代码。

① 编写如下代码

package kafka.study;
import java.util.Properties;
import java.util.Arrays;
import java.util.UUID;

import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.ConsumerRecord;

/**
 * @author liuchangfu@easyretailpro.com
 * 2019/7/29.
 */
public class SimpleConsumer {
    public static void main(String[] args) throws Exception {
        /**判断是否指定消费的topic*/
        if(args.length == 0){
            System.out.println("Enter topic name");
            return;
        }

        //Kafka consumer configuration settings
        /**参数传递topic*/
        String topicName = args[0].toString();
        /**为属性创建实例来访问生成器配置*/
        Properties props = new Properties();

        props.put("bootstrap.servers", "192.168.12.34:9092");
        props.put("acks", "all");
        props.put("retries", 0);
        /**将单个消费者分配给组*/
        props.put("group.id", "test");
        /**如果值为true，则为偏移启用自动落实，否则不提交。*/
        props.put("enable.auto.commit", "true");
        /**返回更新的消耗偏移量写入ZooKeeper的频率*/
        props.put("auto.commit.interval.ms", "1000");
        /**表示Kafka在放弃和继续消费消息之前等待ZooKeeper响应请求(读取或写入)多少毫秒。*/
        props.put("session.timeout.ms", "30000");
        /**反序列化器接口的键*/
        props.put("key.deserializer",
                "org.apache.kafka.common.serialization.StringDeserializer");
        /**反序列化器接口的值*/
        props.put("value.deserializer",
                "org.apache.kafka.common.serialization.StringDeserializer");
        /**当各分区下有已提交的offset时，
         * 从提交的offset开始消费（也就是从上一次消费的偏移量开始往后消费，不管上次消费的consumer是谁）；
         * 无提交的offset时，从头开始消费（如果该topic没被消费过就从开始消费）*/
        props.put("auto.offset.reset", "earliest");
        /**props.put("auto.offset.reset", "earliest"); 加上props.put("group.id", UUID.randomUUID().toString());
         * 可以实现 --from-beginning 功能 */
        props.put("group.id", UUID.randomUUID().toString());
        /**当各分区下有已提交的offset时，从提交的offset开始消费（也就是从上一次消费的偏移量开始往后消费，不管上次消费的consumer是谁）；
         * 无提交的offset时，消费新产生的该分区下的数据（也就是说如果该topic没被消费过即没有offset记录的情况下
         * 则从我这个consumer启动开始消费开始往后生产到该topic的数据才被消费，之前的数就不消费了）*/
//        props.put("auto.offset.reset", "latest");
        KafkaConsumer<String, String> consumer = new KafkaConsumer<String, String>(props);
        /**Kafka Consumer subscribes list of topics here.Kafka使用者在这里订阅主题列表。*/
        consumer.subscribe(Arrays.asList(topicName));
        /**print the topic name 打印topic 名称*/
        System.out.println("Subscribed to topic " + topicName);
        /**长时间监听和消费*/
        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(100);

            for (ConsumerRecord<String, String> record : records) {
                /** print the offset,key and value for the consumer records.打印消费者记录的偏移量、键和值。*/
                System.out.printf("offset = %d, key = %s, value = %s\n", record.offset(), record.key(), record.value());
            }
        }
    }
}

②本地idea测试代码

③ 打包到linux 服务器执行

 java -cp /home/liucf/jars/kafka-clients-2.2.0.jar:/home/liucf/kafka-2.2.0/libs/slf4j-api-1.7.25.jar:/home/liucf/jars/ezr-kafka.jar kafka.study.SimpleConsumer liucf-test

测试完成