Kafka的Producer和Consumer的示例(使用java语言)

我使用的kafka版本是:0.7.2

jdk版本是:1.6.0_20

http://kafka.apache.org/07/quickstart.html官方给的示例并不是很完整,以下代码是经过我补充的并且编译后能运行的。


Producer Code

[java] view plain copy
  1. import java.util.*;  
  2. import kafka.message.Message;  
  3. import kafka.producer.ProducerConfig;  
  4. import kafka.javaapi.producer.Producer;  
  5. import kafka.javaapi.producer.ProducerData;  
  6.   
  7. public class ProducerSample {  
  8.   
  9.   
  10.     public static void main(String[] args) {  
  11.         ProducerSample ps = new ProducerSample();  
  12.   
  13.         Properties props = new Properties();   1、配置文件设置
  14.         props.put("zk.connect""127.0.0.1:2181");  
  15.         props.put("serializer.class""kafka.serializer.StringEncoder");  
  16.   
  17.         ProducerConfig config = new ProducerConfig(props);  
  18. 2、带着配置文件创建Producer 
  19.         Producer<String, String> producer = new Producer<String, String>(config); 
  20. 要发布的消息(任务)     topic   消息任务 3、要发布的消息任务
  21.         ProducerData<String, String> data = 
  22. new ProducerData<String, String>("test-topic""test-message2");  
  23.         producer.send(data);  4、发布消息任务
  24.         producer.close();  
  25.     }  
  26. }  



Consumer Code

[java] view plain copy
  1. import java.nio.ByteBuffer;  
  2. import java.util.HashMap;  
  3. import java.util.List;  
  4. import java.util.Map;  
  5. import java.util.Properties;  
  6. import java.util.concurrent.ExecutorService;  
  7. import java.util.concurrent.Executors;  
  8. import kafka.consumer.Consumer;  
  9. import kafka.consumer.ConsumerConfig;  
  10. import kafka.consumer.KafkaStream;  
  11. import kafka.javaapi.consumer.ConsumerConnector;  
  12. import kafka.message.Message;  
  13. import kafka.message.MessageAndMetadata;  
  14.   
  15. public class ConsumerSample {  
  16.   
  17.     public static void main(String[] args) {  
  18.         //1、消费者配置文件设置
  19.         Properties props = new Properties();  
  20.         props.put("zk.connect""localhost:2181");  
  21.         props.put("zk.connectiontimeout.ms""1000000");  
  22.         props.put("groupid""test_group");  
  23.         //groupid和要消费的topic
  24.   
  25.         // 2、根据配置文件创建与集群的连接
  26.         ConsumerConfig consumerConfig = new ConsumerConfig(props);  
  27.         ConsumerConnector consumerConnector = Consumer.createJavaConsumerConnector(consumerConfig);  
  28.    //3、事先说明有4个线程来消费test-topic 
  29.         HashMap<String, Integer> map = new HashMap<String, Integer>();  
  30.         map.put("test-topic"4); 
  31. //topicMessageStreams是信息流,根据信息流来创建管道s
  32.       Map<String, List<KafkaStream<Message>>> topicMessageStreams =  
  33.          consumerConnector.createMessageStreams(map);  // a map of (topic,#stream)
  34.         //4、创建四个 MessageStreams来消费(监听)topic(通过MessageStrings的get方法从topic中取数据,在消费者和生产者的配置文件中两者必须位于不同的topic中,否者不能访问同一topic中的数据),每个MessageString 对应一个线程。4个MessageStreams构成一捆管道topicMessageStreams,4个MessageStreams分别通向4个线程,得到4个stream, 
  35. //5、从test-topic中获取消息任务 streams是创建的一捆管道,stream是管道
  36.         List<KafkaStream<Message>> streams = topicMessageStreams.get("test-topic");  
  37.   
  38.         //6、声明一个4个线程的线程池,用于消费各个partition 
  39.         ExecutorService executor = Executors.newFixedThreadPool(4); 
  40.   
  41.           //7、消费消息任务
  42.         for (final KafkaStream<Message> stream : streams) { 
  43. //stream 是MessageAndMetadata类型,包含topic、message字段 
  44.           //8、 为每一个partition分配一个线程去消费
  45.      executor.submit(new Runnable() {           
  46.                 public void run() {  
  47.                     for (MessageAndMetadata msgAndMetadata : stream) {  
  48.                         // process message (msgAndMetadata.message())  
  49.                         System.out.println("topic: " + msgAndMetadata.topic());  
  50.                         Message message = (Message) msgAndMetadata.message();  
  51.                         ByteBuffer buffer = message.payload();  
  52.                  <span style="whitespace:pre">  </span>
  53. byte[] bytes = new byte[message.payloadSize()];  
  54.                         buffer.get(bytes);  
  55.                         String tmp = new String(bytes);  
  56.                         System.out.println("message content: " + tmp);  
  57.                     }  
  58.                 }  
  59.             });  
  60.         }  
  61.   
  62.     }  
  63. }  

分别启动zookeeper,kafka server之后,依次运行Producer,Consumer的代码

运行ProducerSample:


运行ConsumerSample:



由于本人不熟悉Java的多线程,将官方给的Consumer Code做点小改动,如下所示:

[java] view plain copy
  1. import java.nio.ByteBuffer;  
  2. import java.util.HashMap;  
  3. import java.util.List;  
  4. import java.util.Map;  
  5. import java.util.Properties;  
  6. import kafka.consumer.Consumer;  
  7. import kafka.consumer.ConsumerConfig;  
  8. import kafka.consumer.KafkaStream;  
  9. import kafka.javaapi.consumer.ConsumerConnector;  
  10. import kafka.message.Message;  
  11. import kafka.message.MessageAndMetadata;  
  12.   
  13. public class ConsumerSample2 {  
  14.   
  15.     public static void main(String[] args) {  
  16.         // specify some consumer properties  
  17.         Properties props = new Properties();  
  18.         props.put("zk.connect""localhost:2181");  
  19.         props.put("zk.connectiontimeout.ms""1000000");  
  20.         props.put("groupid""test_group");  
  21.   
  22.         // Create the connection to the cluster  
  23.         ConsumerConfig consumerConfig = new ConsumerConfig(props);  
  24.         ConsumerConnector consumerConnector = Consumer.createJavaConsumerConnector(consumerConfig);  
  25.   
  26.         HashMap<String, Integer> map = new HashMap<String, Integer>();  
  27.         map.put("test-topic"1);  
  28.         Map<String, List<KafkaStream<Message>>> topicMessageStreams =  
  29.                 consumerConnector.createMessageStreams(map);  
  30.         List<KafkaStream<Message>> streams = topicMessageStreams.get("test-topic");  
  31.   
  32.         <strong>for (final KafkaStream<Message> stream : streams) {  
  33.             for (MessageAndMetadata msgAndMetadata : stream) {  
  34.                 // process message (msgAndMetadata.message())  
  35.                 System.out.println("topic: " + msgAndMetadata.topic());  
  36.                 Message message = (Message) msgAndMetadata.message();  
  37.                 ByteBuffer buffer = message.payload();  
  38.                 byte[] bytes = new byte[message.payloadSize()];  
  39.                 buffer.get(bytes);  
  40.                 String tmp = new String(bytes);  
  41.                 System.out.println("message content: " + tmp);  
  42.             }  
  43.         }</strong>  
  44.     }  
  45. }  

我在Producer端又发送了一条“test-message2”的消息,Consumer收到了两条消息,如下所示:


展开阅读全文

没有更多推荐了,返回首页