SimpleProducer应用程序和SimpleConsumer应用程序

最新推荐文章于 2024-08-11 08:46:24 发布

_小骑士

最新推荐文章于 2024-08-11 08:46:24 发布

阅读量1.1k

点赞数

本文链接：https://blog.csdn.net/qq_24265945/article/details/81075103

版权

本文介绍了如何创建Kafka的SimpleProducer和SimpleConsumer应用程序。首先启动ZooKeeper和Kafka代理，然后创建一个名为SimpleProducer的Java类发送消息到Kafka集群。接着，通过KafkaConsumer API消费这些消息，重点讲解了ConsumerRecord和ConsumerRecords API。最后，展示了如何编译和运行SimpleConsumer应用，以及如何通过Kafka的命令行工具进行消息交互。

摘要由CSDN通过智能技术生成

在创建应用程序之前，首先启动ZooKeeper和Kafka代理，然后使用create topic命令在Kafka代理中创建自己的主题（这里我用Demo）。之后，创建一个名为 SimpleProducer.java 的java类，然后键入以下代码。

//import util.properties packages

import java.util.Properties;


//import simple producer packages

import org.apache.kafka.clients.producer.Producer;


//import KafkaProducer packages

import org.apache.kafka.clients.producer.KafkaProducer;


//import ProducerRecord packages

import org.apache.kafka.clients.producer.ProducerRecord;


//Create java class named “SimpleProducer"

public class SimpleProducer {

   

   public static void main(String[] args) throws Exception{

      

      // Check arguments length value

      if(args.length == 0){

         System.out.println("Enter topic name");

         return;

      }

      

      //Assign topicName to string variable

      String topicName = args[0].toString();

      

      // create instance for properties to access producer configs   

      Properties props = new Properties();

      

      //Assign localhost id

      props.put("bootstrap.servers", "localhost:9092");

      

      //Set acknowledgements for producer requests.      

      props.put("acks", "all");

      

      //If the request fails, the producer can automatically retry,

      props.put("retries", 0);

      

      //Specify buffer size in config

      props.put("batch.size", 16384);

      

      //Reduce the no of requests less than 0   

      props.put("linger.ms", 1);

      

      //The buffer.memory controls the total amount of memory available to the producer for buffering.   

      props.put("buffer.memory", 33554432);

      

      props.put("key.serializer",

         "org.apache.kafka.common.serialization.StringSerializer");

         

      props.put("value.serializer",

         "org.apache.kafka.common.serialization.StringSerializer");

      

      Producer<String, String> producer = new KafkaProducer

         <String, String>(props);

            

      for(int i = 0; i < 10; i++)

         producer.send(new ProducerRecord<String, String>(topicName,

            Integer.toString(i), Integer.toString(i)));

               System.out.println("Message sent successfully");

               producer.close();

   }

}

编译 - 可以使用以下命令编译应用程序

javac -cp "D:/kafka_2.11-1.1.0/libs/*" *.java

执行 - 可以使用以下命令执行应用程序。

这里要cd到下文中根路径，在运行：

java -cp "D:/kafka_2.11-1.1.0/libs/*";. SimpleProducer Demo

输入：topic后跟自己建的主题名

D:\kafka_2.11-1.1.0\bin\windows>kafka-console-consumer.bat --zookeeper localhost:2181 -topic Demo -from-beginning

上文中，我们已经创建了一个发送消息到Kafka集群的生产者。现在让我们创建一个消费者来消费Kafka集群的消息。 KafkaConsumer API用于消费来自Kafka集群的消息。 KafkaConsumer类的构造函数定义如下。

public KafkaConsumer(java.util.Map<java.lang.String,java.lang.Object> configs)

configs - 返回消费者配置的地图。

KafkaConsumer类具有下表中列出的以下重要方法。

S.No	方法和说明
1	public java.util.Set< TopicPar- tition> assignment() 获取由用户当前分配的分区集。
2	public string subscription() 订阅给定的主题列表以获取动态签名的分区。
3	public void sub-scribe(java.util.List< java.lang.String> topics，ConsumerRe-balanceListener listener) 订阅给定的主题列表以获取动态签名的分区。
4	public void unsubscribe() 从给定的分区列表中取消订阅主题。
5	public void sub-scribe(java.util.List< java.lang.String> topics) 订阅给定的主题列表以获取动态签名的分区。如果给定的主题列表为空，则将其视为与unsubscribe()相同。
6	public void sub-scribe(java.util.regex.Pattern pattern，ConsumerRebalanceLis-tener listener) 参数模式以正则表达式的格式引用预订模式，而侦听器参数从预订模式获取通知。
7	public void as-sign(java.util.List< TopicPartion> partitions) 向客户手动分配分区列表。
8	poll() 使用预订/分配API之一获取指定的主题或分区的数据。如果在轮询数据之前未预订主题，这将返回错误。
9	public void commitSync() 提交对主题和分区的所有子编制列表的最后一次poll()返回的提交偏移量。相同的操作应用于commitAsyn()。
10	public void seek(TopicPartition partition，long offset) 获取消费者将在下一个poll()方法中使用的当前偏移值。
11	public void resume() 恢复暂停的分区。
12	public void wakeup() 唤醒消费者。

ConsumerRecord API

ConsumerRecord API用于从Kafka集群接收记录。此API由主题名称，分区号(从中接收记录)和指向Kafka分区中的记录的偏移量组成。 ConsumerRecord类用于创建具有特定主题名称，分区计数和< key，value>的消费者记录。对。它有以下签名。

public ConsumerRecord(string topic,int partition, long offset,K key, V value)

主题 - 从Kafka集群接收的使用者记录的主题名称。
分区 - 主题的分区。
键 - 记录的键，如果没有键存在null将被返回。
值 - 记录内容。

ConsumerRecords API

ConsumerRecords API充当ConsumerRecord的容器。此API用于保存特定主题的每个分区的ConsumerRecord列表。它的构造器定义如下。

public ConsumerRecords(java.util.Map<TopicPartition,java.util.List

<Consumer-Record>K,V>>> records)

TopicPartition - 返回特定主题的分区地图。
记录 - ConsumerRecord的返回列表。

ConsumerRecords类定义了以下方法。

S.No	方法和描述
1	public int count() 所有主题的记录数。
2	public Set partitions() 在此记录集中具有数据的分区集(如果没有返回数据，则该集为空)。
3	public Iterator iterator() 迭代器使您可以循环访问集合，获取或重新移动元素。
4	public List records() 获取给定分区的记录列表。

配置设置

Consumer客户端API主配置设置的配置设置如下所示 -

S.No	设置和说明
1	引导代理列表。
2	group.id 将单个消费者分配给组。
3	enable.auto.commit 如果值为true，则为偏移启用自动落实，否则不提交。
4	auto.commit.interval.ms 返回更新的消耗偏移量写入ZooKeeper的频率。
5	session.timeout.ms 表示Kafka在放弃和继续消费消息之前等待ZooKeeper响应请求(读取或写入)多少毫秒。

SimpleConsumer应用程序

生产者应用程序步骤在此保持不变。首先，启动你的ZooKeeper和Kafka代理。然后使用名为 SimpleCon-sumer.java 的Java类创建一个 SimpleConsumer 应用程序，并键入以下代码。

import java.util.Properties;

import java.util.Arrays;

import org.apache.kafka.clients.consumer.KafkaConsumer;

import org.apache.kafka.clients.consumer.ConsumerRecords;

import org.apache.kafka.clients.consumer.ConsumerRecord;


public class SimpleConsumer {

   public static void main(String[] args) throws Exception {

      if(args.length == 0){

         System.out.println("Enter topic name");

         return;

      }

      //Kafka consumer configuration settings

      String topicName = args[0].toString();

      Properties props = new Properties();

      

      props.put("bootstrap.servers", "localhost:9092");

      props.put("group.id", "test");

      props.put("enable.auto.commit", "true");

      props.put("auto.commit.interval.ms", "1000");

      props.put("session.timeout.ms", "30000");

      props.put("key.deserializer",

         "org.apache.kafka.common.serialization.StringDeserializer");

      props.put("value.deserializer",

         "org.apache.kafka.common.serialization.StringDeserializer");

      KafkaConsumer<String, String> consumer = new KafkaConsumer

         <String, String>(props);

      

      //Kafka Consumer subscribes list of topics here.

      consumer.subscribe(Arrays.asList(topicName));

      

      //print the topic name

      System.out.println("Subscribed to topic " +topicName);

      int i = 0;

      

      while (true) {

         ConsumerRecords<String, String> records = consumer.poll(100);

         for (ConsumerRecord<String, String> record : records)

         

         // print the offset,key and value for the consumer records.

         System.out.printf("offset = %d, key = %s, value = %s\n",

            record.offset(), record.key(), record.value());

      }

   }

}

编译 - 可以使用以下命令编译应用程序。（先转到目录再编译）

D:\kafka_2.11-1.1.0\bin\windows\datalogskafka\Demo-0>javac -cp "D:/kafka_2.11-1.1.0/libs/*" SimpleConsumer.java