kafka入门(4)-java操作kafka

最新推荐文章于 2024-01-11 17:53:37 发布
最新推荐文章于 2024-01-11 17:53:37 发布
阅读量256 收藏 1
点赞数
分类专栏： kafka 文章标签： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32677137/article/details/108629168
版权

kafka入门(4)-java操作kafka

准备工作

创建maven工程

导入Maven Kafka POM依赖

<repositories><!-- 代码库 -->
    <repository>
        <id>central</id>
        <url>http://maven.aliyun.com/nexus/content/groups/public//</url>
        <releases>
            <enabled>true</enabled>
        </releases>
        <snapshots>
            <enabled>true</enabled>
            <updatePolicy>always</updatePolicy>
            <checksumPolicy>fail</checksumPolicy>
        </snapshots>
    </repository>
</repositories>

<dependencies>
    <!-- kafka客户端工具 -->
    <dependency>
        <groupId>org.apache.kafka</groupId>
        <artifactId>kafka-clients</artifactId>
        <version>2.4.1</version>
    </dependency>

    <!-- 工具类 -->
    <dependency>
        <groupId>org.apache.commons</groupId>
        <artifactId>commons-io</artifactId>
        <version>1.3.2</version>
    </dependency>

    <!-- SLF桥接LOG4J日志 -->
    <dependency>
        <groupId>org.slf4j</groupId>
        <artifactId>slf4j-log4j12</artifactId>
        <version>1.7.6</version>
    </dependency>

    <!-- SLOG4J日志 -->
    <dependency>
        <groupId>log4j</groupId>
        <artifactId>log4j</artifactId>
        <version>1.2.16</version>
    </dependency>
</dependencies>

<build>
    <plugins>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-compiler-plugin</artifactId>
            <version>3.7.0</version>
            <configuration>
                <source>1.8</source>
                <target>1.8</target>
            </configuration>
        </plugin>
    </plugins>
</build>

导入log4j.properties

将log4j.properties配置文件放入到resources文件夹中

log4j.rootLogger=INFO,stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender 
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout 
log4j.appender.stdout.layout.ConversionPattern=%5p - %m%n

同步生产消息到Kafka中

需求

编写Java程序，将1-100的数字消息写入到Kafka中。

创建包和类

创建包com.qike.kafka，并创建KafkaProducerTest类

代码开发

  1. 创建连接
    • bootstrap.servers：Kafka的服务器地址
    • acks：表示当生产者生产数据到Kafka中，Kafka中会以什么样的策略返回
    • key.serializer：Kafka中的消息是以key、value键值对存储的，而且生产者生产的消息是需要在网络上传到的，这里指定的是StringSerializer方式，就是以字符串方式发送（将来还可以使用其他的一些序列化框架：Google ProtoBuf、Avro）
    • value.serializer：同上
  2. 创建一个生产者对象KafkaProducer
  3. 调用send方法发送消息（ProducerRecor，封装是key-value键值对）
  4. 调用Future.get表示等带服务端的响应
  5. 关闭生产者

使用同步方式生产消息：

public class KafkaProducerTest {
    public static void main(String[] args) throws ExecutionException, InterruptedException {
        // 1. 创建用于连接Kafka的Properties配置
        Properties props = new Properties();
        props.put("bootstrap.servers", "192.168.88.100:9092");
        props.put("acks", "all");
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

        // 2. 创建一个生产者对象KafkaProducer
        KafkaProducer<String, String> kafkaProducer = new KafkaProducer<>(props);

        // 3. 发送1-100的消息到指定的topic中
        for(int i = 0; i < 100; ++i) {
            // 构建一条消息，直接new ProducerRecord
            ProducerRecord<String, String> producerRecord = new ProducerRecord<>("test", null, i + "");
            Future<RecordMetadata> future = kafkaProducer.send(producerRecord);
            // 调用Future的get方法等待响应
            future.get();
            System.out.println("第" + i + "条消息写入成功！");
        }

        // 4.关闭生产者
        kafkaProducer.close();
    }
}

使用异步方式生产消息

  • 使用匿名内部类实现Callback接口，该接口中表示Kafka服务器响应给客户端，会自动调用onCompletion方法
    • metadata：消息的元数据（属于哪个topic、属于哪个partition、对应的offset是什么）
    • exception：这个对象Kafka生产消息封装了出现的异常，如果为null，表示发送成功，如果不为null，表示出现异常。
// 二、使用异步回调的方式发送消息
ProducerRecord<String, String> producerRecord = new ProducerRecord<>("test", null, i + "");
kafkaProducer.send(producerRecord, new Callback() {
    @Override
    public void onCompletion(RecordMetadata metadata, Exception exception) {
        // 1. 判断发送消息是否成功
        if(exception == null) {
            // 发送成功
            // 主题
            String topic = metadata.topic();
            // 分区id
            int partition = metadata.partition();
            // 偏移量
            long offset = metadata.offset();
            System.out.println("topic:" + topic + " 分区id：" + partition + " 偏移量：" + offset);
        }
        else {
            // 发送出现错误
            System.out.println("生产消息出现异常！");
            // 打印异常消息
            System.out.println(exception.getMessage());
            // 打印调用栈
            System.out.println(exception.getStackTrace());
        }
    }
});

从Kafka的topic中消费消息

需求

从 test topic中，将消息都消费，并将记录的offset、key、value打印出来

准备工作

在com.qike.kafka包下创建KafkaConsumerTest类

代码开发

  1. 创建Kafka消费者配置

  2. 创建Kafka消费者

  3. 订阅要消费的主题

  4. 使用一个while循环，不断从Kafka的topic中拉取消息

  5. 将将记录（record）的offset、key、value都打印出来

代码：

  • group.id：消费者组的概念，可以在一个消费组中包含多个消费者。如果若干个消费者的group.id是一样的，表示它们就在一个组中，一个组中的消费者是共同消费Kafka中topic的数据。
  • Kafka是一种拉消息模式的消息队列，在消费者中会有一个offset，表示从哪条消息开始拉取数据
  • kafkaConsumer.poll：Kafka的消费者API是一批一批数据的拉取
/**
 * 消费者程序
 *
 * 1.创建Kafka消费者配置
 * Properties props = new Properties();
 * props.setProperty("bootstrap.servers", "node1.itcast.cn:9092");
 * props.setProperty("group.id", "test");
 * props.setProperty("enable.auto.commit", "true");
 * props.setProperty("auto.commit.interval.ms", "1000");
 * props.setProperty("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
 * props.setProperty("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
 *
 * 2.创建Kafka消费者
 * 3.订阅要消费的主题
 * 4.使用一个while循环，不断从Kafka的topic中拉取消息
 * 5.将将记录（record）的offset、key、value都打印出来
 */
public class KafkaConsumerTest {

    public static void main(String[] args) {
        // 1.创建Kafka消费者配置
        Properties props = new Properties();
        props.setProperty("bootstrap.servers", "node1.itcast.cn:9092");
        // 消费者组（可以使用消费者组将若干个消费者组织到一起），共同消费Kafka中topic的数据
        // 每一个消费者需要指定一个消费者组，如果消费者的组名是一样的，表示这几个消费者是一个组中的
        props.setProperty("group.id", "test");
        // 自动提交offset
        props.setProperty("enable.auto.commit", "true");
        // 自动提交offset的时间间隔
        props.setProperty("auto.commit.interval.ms", "1000");
        // 拉取的key、value数据的
        props.setProperty("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.setProperty("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

        // 2.创建Kafka消费者
        KafkaConsumer<String, String> kafkaConsumer = new KafkaConsumer<>(props);

        // 3. 订阅要消费的主题
        // 指定消费者从哪个topic中拉取数据
        kafkaConsumer.subscribe(Arrays.asList("test"));

        // 4.使用一个while循环，不断从Kafka的topic中拉取消息
        while(true) {
            // Kafka的消费者一次拉取一批的数据
            ConsumerRecords<String, String> consumerRecords = kafkaConsumer.poll(Duration.ofSeconds(5));
            // 5.将将记录（record）的offset、key、value都打印出来
            for (ConsumerRecord<String, String> consumerRecord : consumerRecords) {
                // 主题
                String topic = consumerRecord.topic();
                // offset：这条消息处于Kafka分区中的哪个位置
                long offset = consumerRecord.offset();
                // key\value
                String key = consumerRecord.key();
                String value = consumerRecord.value();

                System.out.println("topic: " + topic + " offset:" + offset + " key:" + key + " value:" + value);
            }
        }
    }
}

可以参考官网API文档：http://kafka.apache.org/24/javadoc/index.html?org/apache/kafka/clients/consumer/KafkaConsumer.html

异步使用带有回调函数方法生产消息

如果我们想获取生产者消息是否成功，或者成功生产消息到Kafka中后，执行一些其他动作。此时，可以很方便地使用带有回调函数来发送消息。

需求：

  1. 在发送消息出现异常时，能够及时打印出异常信息

  2. 在发送消息成功时，打印Kafka的topic名字、分区id、offset

代码开发

代码：

public class KafkaProducerTest {
    public static void main(String[] args) {
        // 1. 创建用于连接Kafka的Properties配置
        Properties props = new Properties();
        props.put("bootstrap.servers", "192.168.88.100:9092");
        props.put("acks", "all");
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

        // 2. 创建一个生产者对象KafkaProducer
        KafkaProducer<String, String> producer = new KafkaProducer<String, String>(props);

        // 3. 调用send发送1-100消息到指定Topic test
        for(int i = 0; i < 100; ++i) {
            // 一、同步方式
            // 获取返回值Future，该对象封装了返回值
            // Future<RecordMetadata> future = producer.send(new ProducerRecord<String, String>("test", null, i + ""));
            // 调用一个Future.get()方法等待响应
            // future.get();

            // 二、带回调函数异步方式
            producer.send(new ProducerRecord<String, String>("test", null, i + ""), new Callback() {
                @Override
                public void onCompletion(RecordMetadata metadata, Exception exception) {
                    if(exception != null) {
                        System.out.println("发送消息出现异常");
                    }
                    else {
                        String topic = metadata.topic();
                        int partition = metadata.partition();
                        long offset = metadata.offset();

                        System.out.println("发送消息到Kafka中的名字为" + topic + "的主题，第" + partition + "分区，第" + offset + "条数据成功!");
                    }
                }
            });
        }

        // 5. 关闭生产者
        producer.close();
    }
}
需要静心的码农
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
在java代码中使用kafka(springboot整合kafka)
jerry764的博客
09-06 8284
java代码maven项目实现kafka的连接及生产者、消费者的创建，以及消息的发布和订阅
JAVA技术体系之分布式篇（五）——Kafka消息中间件
qsmiley10的博客
04-19 6097
1
大数据之Kafka————java来实现kafka相关操作
ycz926940的博客
07-06 4372
生产者多线程是一种常见的技术实践，可以提高消息生产的并发性和吞吐量。通过将消息生产任务分配给多个线程来并行地发送消息，可以有效地利用系统资源，加快消息的发送速度。Java中写在生产者输入内容在kafka中可以让消费者提取。（2）、Producer进行多线程操作。一、在java中配置pom。通过java来实现消费者。(2)、设置多人访问。
2021大厂Java面试真题（Kafka ）
ZJC'博客
01-12 1365
2021大厂Java面试真题（Kafka ） 1、Kafka 是什么？主要应用场景有哪些？ Kafka 是一个分布式流式处理平台。 流平台具有三个关键功能：  消息队列：发布和订阅消息流，这个功能类似于消息队列，这也是 Kafka 也被归类为消 息队列的原因。  容错的持久方式存储记录消息流： Kafka 会把消息持久化到磁盘，有效避免了消息丢失 的风险。  流式处理平台： 在消息发布的时候进行处理，Kafka 提供了一个完整的流式处理类库。 Kafka 主要有两大应用场景：  消息队列 ：建立实时
【学习笔记】Java——消息队列kafka杂记
qq_45192089的博客
06-13 1780
用于构建和运行可重用的数据导入/导出连接器，这些连接器从外部系统和应用程序消费（读取）或产生（写入）事件流，以便它们可以与 Kafka 集成。但是，在实践中，您通常不需要实现自己的连接器，因为 Kafka 社区已经提供了数百个即用型连接器。它提供了更高级别的函数来处理事件流，包括转换、聚合和连接等有状态操作、窗口化、基于事件时间的处理等等。从一个或多个topics读取输入以生成一个或多个topics的输出，有效地将输入流转换为输出流。（1）管理和检查topics、brokers和其他 Kafka 对象的。
kafkapython教程-Kafka快速入门（十二）-Python客户端.pdf
06-11
kafkapython教程_Kafka快速⼊门（⼗⼆）——Python客户端 Kafka快速⼊门(⼗⼆)——Python客户端 ⼀、confluent-kafka 1、confluent-kafka简介 confluent-kafka是Python模块，是对librdkafka的轻量级封装，⽀持Kafka ...
kafka-connect-zeebe:用于Zeebe.io的Kafka连接器
05-04
kafka-connect-zeebe 这个适用于器可以做两件事： 当工作流实例达到特定活动时，将消息发送到Kafka主题。 请注意，一条message更确切地说是一个卡夫卡record ，通常也称为event 。 这是Kafka Connect演讲中的消息...
fluent-kafka-streams-tests：Java的Fluent Kafka Streams测试
02-06
流利的Kafka Streams测试 为您的Kafka Streams应用程序...compile group : ' com.bakdata.fluent-kafka-streams-tests ' , name : ' fluent-kafka-streams-tests-junit5 ' , version : ' 2.1.0 ' Maven < dependency
kafka-java-vertx-starter:入门Java应用程序，用于通过Vert.x测试与Apache Kafka的连接
05-15
Starter Vert.x Kafka应用程序一个入门应用程序，用于测试您的部署并试用。 该应用程序允许您每两秒钟将记录发送到Kafka中名为demo的主题，并消耗掉这些记录。运行应用通过连接到websocket端点来测试应用程序（即将...
java kafka 入门
12-03
springboot下集成kafka的小例子，把代码写在world里。
Kafka示例（Java版）
qq_43588909的博客
08-18 3327
Kafka示例（Java版）
Java开发 - 消息队列之Kafka初体验
CodingFire的博客
03-11 1259
Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。
Kafka篇——Java中实现生产者功能，手把手教学，满满干货！
最新发布
我热爱学习，也乐于分享。无论是科技前沿的洞见，还是生活中的小技巧，我都会在这里与你分享。我相信，知识就是力量，而分享则能让这份力量得到更好的传递。
01-11 743
正常情况下，控制台是不会打印"异步方式发送消息结果：......"，因为执行完这个异步发送消息的方法时，主线程就会关闭，会由新的线程去异步执行发消息的方法，所以主线程是那不到这个打印的结果。异步发送，生产者发送完消息就可以执行后面的业务逻辑，不会等待消息发送完这段时间阻塞Broker在收到消息后会异步调用生产者提供的callBack回调方法。如果生产者发送消息后没有收到ACK，生产者会阻塞，阻塞3秒钟时间，如果还没有收到消息，会进行重试，重试次数为3次。引入的依赖版本要与我们服务器中的Kafka版本一致。
Kafka从入门到精通（二）环境搭建
qq_36306519的博客
05-03 346
Kafka从入门到精通（二）环境搭建
spring boot集成kafka开发，接收kafka消息，Java（1）
Zhang Phil
02-24 5190
命令： kafka-topics.bat --list --bootstrap-server 127.0.0.1:9092 Windows环境下，列出主机127.0.0.1上kafka的主题topic。
超详细 kafka 入门（最佳实践）
好好学java
06-27 304
今日推荐6年，终拿腾讯 offer！ 都2021年了，你还在用Jenkins？赶快看看这些替代方案吧！ 盘点 12 个 GitHub 上的高仿项目 CTO 说了，用错 @Autowire...
Java编程 — Kafka的基本操作
qq_38634896的博客
06-19 753
java kafka，异步回调，kafka基本操作
入门kafka，Java开发面经分享
m0_60707122的博客
08-08 238
Kafka 的底层使用 Zookeeper 储存元数据，确保一致性，所以安装 Kafka 前需要先安装 Zookeeper，Kafka 的发行版自带了 Zookeeper ，可以直接使用脚本来启动，不过安装一个 Zookeeper 也不费劲 Zookeeper 单机搭建 Zookeeper 单机搭建比较简单，直接从 https://www.apache.org/dyn/closer.cgi/zookeeper/官网下载一个稳定版本的 Zookeeper ，这里我使用的是 3.4.10，下载完成后，在 Lin
Apache Kafka 编程实战-java客户端开发例子（入门教程轻松学）
稀有气体的技术博客
10-09 7720
本入门教程，涵盖Kafka核心内容，通过实例和大量图表，帮助学习者理解，任何问题欢迎留言。 目录： kafka简介 kafka安装和使用 kafka核心概念 kafka核心组件和流程--控制器 kafka核心组件和流程--协调器 kafka核心组件和流程--日志管理器 kafka核心组件和流程--副本管理器 kafka编程实战 本章通过实际例子，讲解了如何使用java进行kafk...
demo flink写入kafka_flink实现将kafka数据写入kafka（java）--入门级
09-09
下面是一个入门级的示例代码，演示了如何使用Java编写一个简单的Flink作业来实现将Kafka数据写入到另一个Kafka集群中。 首先，需要在项目的pom.xml文件中添加Flink和Kafka相关的依赖： ```xml <groupId>org....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值