Kafka Java示例

最新推荐文章于 2024-05-11 11:47:17 发布
最新推荐文章于 2024-05-11 11:47:17 发布
阅读量190 收藏
点赞数

一、一些问题

1.1 kafka错误

错误：
  WARN Error while fetching metadata with correlation id 0 : {test-topic=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient)

解决方案：https://github.com/wurstmeister/kafka-docker/issues/85https://github.com/wurstmeister/kafka-docker/issues/85

config/server.properties：

>set advertised.host.name = ip。

1.2 kafka命令行
>创建topic：sh kafka-topics.sh --create --zookeeper 10.95.177.100:2181,10.95.97.175:2181,10.95.176.44:2181  --replication-factor 1 --partitions 1 --topic  topic-test
>查看topic：sh kafka-topics.sh --list --zookeeper 10.95.177.192:2181,10.95.97.175:2181,10.95.176.44:2181
>删除topic：
sh kafka-topics.sh --delete --topic topic-test --zookeeper 10.95.177.192:2181,10.95.97.175:2181,10.95.176.44:2181 
>生产消息：sh kafka-console-producer.sh --broker-list 10.95.177.192:9092,10.95.97.175:9092 --topic topic-test
>消费消息：sh kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic-test --from-beginning  --zookeeper 10.95.177.192:2181,10.95.97.175:2181,10.95.176.44:2181 
>启动kafka服务：
./kafka-server-start.sh -daemon ../config/server.properties
>停止kafka服务：
./kafka-server-stop
1.3 Java API版本

一种：kafka.javaapi.*：

  1. import kafka.javaapi.producer.Producer;
  2. import kafka.producer.KeyedMessage;
  3. import kafka.producer.ProducerConfig;
另一种： org.apache.kafka.*: 

import org.apache.kafka.clients.producer.KafkaProducer<K,V>
在Kafka 0.8.2之前，kafka.javaapi.producer.Producer是为唯一官方用Scala实现的Java Client。
在Kafka 0.8.2之后，有新的Java Producer API，org.apache.kafka.clients.producer.KafkaProducer,完全用Java实现的。

二、Java Kafka示例

pom.xml:

  1. <dependencies>
  2. <dependency>
  3. <groupId>org.apache.kafka </groupId>
  4. <artifactId>kafka-clients </artifactId>
  5. <version>0.10.2.0 </version>
  6. </dependency>
  7. <dependency>
  8. <groupId>org.apache.kafka </groupId>
  9. <artifactId>kafka_2.11 </artifactId>
  10. <version>0.10.2.0 </version>
  11. </dependency>
  12. </dependencies>
2.1 老版本Producer：

KafkaProducerOld.java:

  1. import kafka.javaapi.producer.Producer;
  2. import kafka.producer.KeyedMessage;
  3. import kafka.producer.ProducerConfig;
  5. import java.util.Properties;
  7. /**
  8. * kafka.javaapi.producer.Producer
  9. * */
  10. public class KafkaProducerOld {
  12. private Producer<String, String> producer;
  14. public final static String TOPIC = "didi-topic-test";
  16. private KafkaProducerOld() {
  17. Properties props = new Properties();
  18. props.put( "metadata.broker.list", "10.95.177.192:9092,10.95.97.175:9092");
  19. props.put( "serializer.class", "kafka.serializer.StringEncoder");
  20. ProducerConfig config = new ProducerConfig(props);
  21. producer = new Producer<String, String>(config);
  22. }
  24. public void produce() {
  25. int messageNo = 0;
  26. final int COUNT = 10;
  28. while(messageNo < COUNT) {
  29. String data = String.format( "hello kafka.javaapi.producer message %d", messageNo);
  31. KeyedMessage<String, String> msg = new KeyedMessage<String, String>(TOPIC, data);
  33. try {
  34. producer.send(msg);
  35. } catch (Exception e) {
  36. e.printStackTrace();
  37. }
  39. messageNo++;
  40. }
  42. producer.close();
  43. }
  45. public static void main(String[] args) {
  46. new KafkaProducerOld().produce();
  47. }
  49. }
2.2 老版本Consumer

KafkaConsumerOld.java:

  1. import kafka.consumer.ConsumerConfig;
  2. import kafka.consumer.ConsumerIterator;
  3. import kafka.consumer.KafkaStream;
  4. import kafka.javaapi.consumer.ConsumerConnector;
  5. import kafka.serializer.StringDecoder;
  6. import kafka.utils.VerifiableProperties;
  8. import java.util.HashMap;
  9. import java.util.List;
  10. import java.util.Map;
  11. import java.util.Properties;
  13. /**
  14. * Consumer: kafka.javaapi.consumer.Consumer
  15. * */
  16. public class KafkaConsumerOld {
  18. private final ConsumerConnector consumerConnector;
  20. public final static String TOPIC = "didi-topic-test";
  22. private KafkaConsumerOld() {
  23. Properties props = new Properties();
  24. props.put( "zookeeper.connect", "10.95.177.192:2181,10.95.97.175:2181,10.95.176.44:2181");
  25. props.put( "group.id", "group-1");
  27. //zk连接超时
  28. props.put( "zookeeper.session.timeout.ms", "400");
  29. props.put( "zookeeper.sync.time.ms", "200");
  30. props.put( "auto.commit.interval.ms", "1000");
  31. props.put( "auto.offset.reset", "smallest");
  32. //序列化类
  33. props.put( "serializer.class", "kafka.serializer.StringDecoder");
  35. ConsumerConfig config = new ConsumerConfig(props);
  37. consumerConnector = kafka.consumer.Consumer.createJavaConsumerConnector(config);
  38. }
  40. public void consume() {
  41. Map<String, Integer> topicCountMap = new HashMap<String, Integer>();
  42. topicCountMap.put(KafkaProducerNew.TOPIC, new Integer( 1));
  44. StringDecoder keyDecoder = new StringDecoder( new VerifiableProperties());
  45. StringDecoder valueDecoder = new StringDecoder( new VerifiableProperties());
  47. Map<String, List<KafkaStream<String, String>>> consumerMap = consumerConnector.createMessageStreams(topicCountMap, keyDecoder, valueDecoder);
  49. List<KafkaStream<String, String>> streams = consumerMap.get(TOPIC);
  50. for ( final KafkaStream stream : streams) {
  51. ConsumerIterator<String, String> it = stream.iterator();
  52. while (it.hasNext()) {
  53. System.out.println( "this is kafka consumer : " + new String( it.next().message().toString()) );
  54. }
  55. }
  56. }
  58. public static void main(String[] args) {
  59. new KafkaConsumerOld().consume();
  60. }
  61. }
2.3 新版本Producer ：

KafkaProducerNew.java:

  1. import org.apache.kafka.clients.producer.KafkaProducer;
  2. import org.apache.kafka.clients.producer.ProducerConfig;
  3. import org.apache.kafka.clients.producer.ProducerRecord;
  4. import org.apache.kafka.common.serialization.StringSerializer;
  6. import java.util.Properties;
  8. /**
  9. * producer: org.apache.kafka.clients.producer.KafkaProducer;
  10. * */
  12. public class KafkaProducerNew {
  14. private final KafkaProducer<String, String> producer;
  16. public final static String TOPIC = "didi-topic-test";
  18. private KafkaProducerNew() {
  19. Properties props = new Properties();
  20. props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "10.95.177.192:9092,10.95.97.175:9092");
  21. props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
  22. props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
  24. producer = new KafkaProducer<String, String>(props);
  25. }
  27. public void produce() {
  28. int messageNo = 1;
  29. final int COUNT = 10;
  31. while(messageNo < COUNT) {
  32. String key = String.valueOf(messageNo);
  33. String data = String.format( "hello KafkaProducer message %s", key);
  35. try {
  36. producer.send( new ProducerRecord<String, String>(TOPIC, data));
  37. } catch (Exception e) {
  38. e.printStackTrace();
  39. }
  41. messageNo++;
  42. }
  44. producer.close();
  45. }
  47. public static void main(String[] args) {
  48. new KafkaProducerNew().produce();
  49. }
  51. }
2.4 新版本Consumer：

KafkaConsumerNew.java:

  1. import org.apache.kafka.clients.consumer.*;
  3. import java.util.Arrays;
  4. import java.util.Properties;
  6. /**
  7. * consumer: org.apache.kafka.clients.consumer.Consumer
  8. * */
  9. public class KafkaConsumerNew {
  11. private Consumer<String, String> consumer;
  13. private static String group = "group-1";
  15. private static String TOPIC = "didi-topic-test";
  17. private KafkaConsumerNew() {
  18. Properties props = new Properties();
  19. props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "10.95.177.192:9092,10.95.97.175:9092");
  20. props.put(ConsumerConfig.GROUP_ID_CONFIG, group);
  21. props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "latest");
  22. props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "true"); // 自动commit
  23. props.put(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG, "1000"); // 自动commit的间隔
  24. props.put(ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG, "30000");
  25. props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
  26. props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
  27. consumer = new KafkaConsumer<String, String>(props);
  28. }
  30. private void consume() {
  31. consumer.subscribe(Arrays.asList(TOPIC)); // 可消费多个topic,组成一个list
  33. while ( true) {
  34. ConsumerRecords<String, String> records = consumer.poll( 1000);
  35. for (ConsumerRecord<String, String> record : records) {
  36. System.out.printf( "offset = %d, key = %s, value = %s \n", record.offset(), record.key(), record.value());
  37. try {
  38. Thread.sleep( 1000);
  39. } catch (InterruptedException e) {
  40. e.printStackTrace();
  41. }
  42. }
  43. }
  44. }
  46. public static void main(String[] args) {
  47. new KafkaConsumerNew().consume();
  48. }
  49. }

Author：忆之独秀

Email：leaguenew@qq.com

注明出处：http://blog.csdn.net/lavorange/article/details/78970977

丁择一
关注
Kafka java 示例
jasonhongcn的专栏
12-18 257
我们学习了如何在Linux中安装Kafka。我们还知道如何在命令行中运行生产者和消费者。在本教程中，我将向您展示使用apache kafka客户端生成和使用消息。订阅主题（名为test）。当消费者从Kafka获得消息时，它将打印到日志中。对于消费者，我们用于。Kafka Java示例。生产者中最重要的代码行是。此行代码将消息发送到。
Java实现Kafka生产者和消费者的示例(1)，mysqlsql语句面试题
m0_64383736的博客
12-09 1072
RecordMetadata recordMetadata = null; try { //将消息发送到Kafka服务器的名称为“one-more-topic”的Topic中 recordMetadata = kafkaProducer.send(new ProducerRecord<>(“one-more-topic”, uuid)).get(); log.info(“recordMetadata: {}”, recordMetadata); log.info(“uuid: {}”, uuid
kafka-java-demo 基于java的kafka生产消费者示例
11-24
kafka-java-demo 基于java的kafka生产消费者示例。 mvn
Kafka示例（Java版）
qq_43588909的博客
08-18 3638
Kafka示例（Java版）
kafka java示例,kafka java示例
weixin_42516581的博客
03-16 540
1) Producer端使用zookeeper用来"发现"broker列表,以及和Topic下每个partition leader建立socket连接并发送消息.2) Broker端使用zookeeper用来注册broker信息,已经监测partition leader存活性.3) Consumer端使用zookeeper用来注册consumer信息,其中包括consumer消费的partitio...
example-consumer-java-kafka:示例Java Kafka使用者
04-06
示例Java Kafka使用者 这是一个Java kafka使用者的示例，该使用者使用Pact， 和Travis CI来确保其与其使用者所期望的兼容。 该项目使用Makefile来模拟一个非常简单的构建管道，分为两个阶段-测试和部署。 请参阅...
java实现flink订阅Kerberos认证的Kafka消息示例源码
04-16
在Java中实现Flink订阅Kerberos认证的Kafka消息是一项关键任务，特别是在处理安全敏感的数据流时。本文将深入探讨这一主题，介绍如何利用Apache Flink与Kafka的集成，以及如何通过Kerberos进行身份验证。 首先，...
Kafka使用Java客户端进行访问的示例代码
08-29
Kafka 使用 Java 客户端进行访问的示例代码 Kafka 是一种流行的分布式消息队列系统，广泛应用于大数据实时处理、日志聚合、消息队列等领域。Java 是一种广泛使用的编程语言，很多开发者使用 Java 进行 Kafka 的开发...
Java对接kafka简单示例
牛肉胡辣汤
07-31 1637
下面是一个简单的示例代码，展示了如何使用Java对接Kafka并发送和接收消息： 首先，确保已经在项目中添加了kafka-clients库的依赖。请注意，上面的示例使用了Kafka的2.8.0版本，你可以根据实际情况选择合适的版本。添加依赖后，你可以在你的Java代码中使用Kafka的API，如上面的示例代码所示。然后，你可以在你的Java代码中使用Kafka的API来对接Kafka。这样，你就可以使用Maven管理你的项目的依赖，并使用Kafka的API对接Kafka。
kafka java示例_Kafka Java示例
weixin_39769183的博客
02-21 380
由于项目原因需要升级kafka，需要重新申请kafka服务，用新的Java API来编写producer和consumer，顺便接触一下Kafka。准备工作就是安装zookeeper和kafka，由于关于安装方面的文章很多，在此就不细说了。一、一些问题1.1 kafka错误错误：WARN Error while fetching metadata with correlation id 0 : {...
kafka java api示例_Kafka JAVA客户端代码示例--高级应用
weixin_30416973的博客
02-13 199
什么时间使用高级应用？针对一个消息读取多次在一个process中，仅仅处理一个topic中的一组partitions使用事务，确保每个消息只被处理一次使用高级应用(调用较底层函数)的缺点？SimpleConsumer需要做很多额外的工作(在以groups方式进行消息处理时不需要)在应用程序中跟踪上次消息处理的offset确定一个topic partition的lead broker手工处理brok...
kafka生产者、消费者java示例
weixin_34049032的博客
11-09 184
1. 生产者 import java.util.Properties; import kafka.javaapi.producer.Producer; import kafka.producer.KeyedMessage; import kafka.producer.ProducerConfig; public class MyProducer { ...
kafka java示例
tycoon的专栏
08-27 635
一.Zookeeper集群构建     我们有3个zk实例，分别为zk-0,zk-1,zk-2;如果你仅仅是测试使用，可以使用1个zk实例.     1) zk-0     调整配置文件： Php代码   clientPort=2181   server.0=127.0.0.1:2888:3888   server.1=127.0.0.1:2889:3
kafka的java实例
qq_36535196的博客
03-07 461
import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.Producer; import org.apache.kafka.clients.producer.ProducerRecord; import java.util.Properties; //kaf...
Kafka学习-Java使用Kafka
最新发布
weixin_49832841的博客
05-11 4504
Kafka是Apache旗下的一款分布式流媒体平台，Kafka是一种高吞吐量、持久性、分布式的发布订阅的消息队列系统。它被广泛应用于实时数据流处理、日志收集和处理以及消息队列等场景。本文将深入介绍Kafka的概念、原理、作用和应用场景。
kafka Java实例
feng的博客
04-25 613
import java.util.*; import kafka.javaapi.producer.Producer; import kafka.producer.KeyedMessage; import kafka.producer.Partitioner; import kafka.producer.ProducerConfig; import kafka.utils.VerifiableP
Kafka入门实例
mingtianhaiyouwo的博客
07-09 1027
摘要:本文主要讲了Kafka的一个简单入门实例 源码下载：https://github.com/appleappleapple/BigDataLearning kafka安装过程看这里：Kafka在Windows安装运行 整个工程目录如下： 1、pom文件 [html] view plain copy project xmlns="http://ma
java kafka消费示例
05-15
首先，需要引入Kafka的Java客户端依赖包，在Maven中可以添加以下依赖： ``` <groupId>org.apache.kafka <artifactId>kafka-clients <version>2.8.0 <scope>compile ``` 接着，创建一个KafkaConsumer对象，并...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值