Kafka Java API 简单使用

最新推荐文章于 2024-05-29 20:40:58 发布
最新推荐文章于 2024-05-29 20:40:58 发布
阅读量492 收藏 1
点赞数
分类专栏： Kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DJH2717/article/details/104588737
版权

生产者

注意点:
  1. 可以使用消息的同步发送和异步发送, send 方法返回的是一个 future 对象, 可以使用 get 进行阻塞等待返回. 或传入 callBack 方法进行异步回调.
  2. 可以在创建 record 的时候指定分区, 如果不指定, 则使用默认的负载均衡分配分区.
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.common.serialization.IntegerSerializer;
import org.apache.kafka.common.serialization.StringSerializer;

import java.util.Properties;

/**
 * @author djh
 * @date 2020/2/29 16:53
 * @description 描述信息
 */
public class KafkaProductDemo {

    public static final String TOPIC = "This_is_a_topic";

    public static void main(String[] args) throws InterruptedException {

        Properties properties = new Properties();

        properties.setProperty(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "hadoop3-host:9092,hadoop4-host:9092,hadoop5-host:9092");
        properties.setProperty(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, IntegerSerializer.class.getName());
        properties.setProperty(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());


        // 创建生产者.
        KafkaProducer<Integer, String> kafkaProducer = new KafkaProducer<>(properties);
        for (int i = 1; i < 100000; i++) {
            Thread.sleep(500);
            ProducerRecord<Integer, String> record = new ProducerRecord<>(TOPIC, i, "这是第" + i + "条消息");
            kafkaProducer.send(record, (metadata, exception) -> {
                System.out.println(metadata.toString());
                exception.printStackTrace();
            });
        }

        kafkaProducer.close();
    }
}
运行结果:
This_is_a_topic-0@0
This_is_a_topic-3@0
This_is_a_topic-1@0
This_is_a_topic-3@1
This_is_a_topic-4@0
This_is_a_topic-9@0
This_is_a_topic-3@2
This_is_a_topic-6@0
This_is_a_topic-8@0
This_is_a_topic-1@1
This_is_a_topic-9@1
This_is_a_topic-7@0
This_is_a_topic-3@3
This_is_a_topic-9@2
This_is_a_topic-8@1
This_is_a_topic-9@3
This_is_a_topic-1@2

我们可以看到,每个分区都有分配到消息, 我这默认设置成了十个分区.



消费者

注意点:
  1. 属于不同进程的消费者, 只要 group_id 相同则属于同一个消费者组, 对同一个分区存在争夺消费的情况.
  2. 如果不为某一消费者指定分区, 则使用默认的负债均衡, 消费某几个分区, 如果一个消费者组只有一个消费者, 那就会消费所有分区的数据.
  3. 可以使用 assign 指定某一个消费者指定消费哪一个分区.
  4. 消费者需要不断的对 kafka 进行轮询, 如果一定时间段内, 没有接受到来之消费者的轮询, 则认为该消费者死亡.
关于消费的顺序性:
  1. 如果整个 topic 只有一个消费者在消费, 无论这一个 topic 有多少个分区, 依旧可以保证消费的顺序性, 从头到尾都是顺序的.
  2. 如果动态的在一个消费者组中添加消费者, 那么此时便在不同消费者之间不会顺序, 因为一个消费者只能消费某一个对应的分区嘛, 但是在一个消费者内部, 对同一个分区的消费还是保有顺序性的.
import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.common.serialization.IntegerDeserializer;
import org.apache.kafka.common.serialization.StringDeserializer;

import java.time.Duration;
import java.util.Collections;
import java.util.Properties;

/**
 * @author djh
 * @date 2020/2/29 17:13
 * @description 描述信息
 */
public class KafkaConsumerDemo {
    public static final String CONSUMER_GROUP = "consumer_two";

    public static void main(String[] args) {
        Properties properties = new Properties();
        properties.setProperty(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "hadoop3-host:9092,hadoop4-host:9092,hadoop5-host:9092");
        properties.setProperty(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, IntegerDeserializer.class.getName());
        properties.setProperty(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());

        // 指定消费者组,组名称相同的不同消费者进程仍然属于同一个消费者组.
        properties.setProperty(ConsumerConfig.GROUP_ID_CONFIG, CONSUMER_GROUP);

        KafkaConsumer<Integer, String> kafkaConsumer = new KafkaConsumer<>(properties);
        kafkaConsumer.subscribe(Collections.singletonList(KafkaProductDemo.TOPIC));
        //kafkaConsumer.assign(Arrays.asList(new TopicPartition(KafkaProductDemo.TOPIC, 0), new TopicPartition(KafkaProductDemo.TOPIC, 2)));
        //kafkaConsumer.seek(new TopicPartition(KafkaProductDemo.TOPIC, 0), 0);

        // 一直处于消费状态.
        while (true) {
            ConsumerRecords<Integer, String> records = kafkaConsumer.poll(Duration.ofSeconds(5));
            for (ConsumerRecord<Integer, String> record : records) {
                System.out.println("消费第" + record.key() + "条消息, \t 内容为:" + record.value() + "\t 偏移量为:" + record.offset() +
                        "\t 分区为:" + record.partition());
            }
        }
    }
}
运行结果:

当有三个消费者时:

消费者 1 的日志:

消费第4102条消息, 	 内容为:这是第4102条消息	 偏移量为:429	 分区为:4
消费第4115条消息, 	 内容为:这是第4115条消息	 偏移量为:430	 分区为:4
消费第4117条消息, 	 内容为:这是第4117条消息	 偏移量为:399	 分区为:5
消费第4121条消息, 	 内容为:这是第4121条消息	 偏移量为:467	 分区为:6
消费第4122条消息, 	 内容为:这是第4122条消息	 偏移量为:431	 分区为:4
消费第4123条消息, 	 内容为:这是第4123条消息	 偏移量为:400	 分区为:5
消费第4126条消息, 	 内容为:这是第4126条消息	 偏移量为:432	 分区为:4

消费者 2 的日志:

消费第4232条消息, 	 内容为:这是第4232条消息	 偏移量为:440	 分区为:3
消费第4235条消息, 	 内容为:这是第4235条消息	 偏移量为:432	 分区为:2
消费第4236条消息, 	 内容为:这是第4236条消息	 偏移量为:390	 分区为:1
消费第4238条消息, 	 内容为:这是第4238条消息	 偏移量为:409	 分区为:0
消费第4240条消息, 	 内容为:这是第4240条消息	 偏移量为:391	 分区为:1
消费第4242条消息, 	 内容为:这是第4242条消息	 偏移量为:441	 分区为:3
消费第4244条消息, 	 内容为:这是第4244条消息	 偏移量为:433	 分区为:2
消费第4245条消息, 	 内容为:这是第4245条消息	 偏移量为:410	 分区为:0

消费者 3 的日志:

消费第4043条消息, 	 内容为:这是第4043条消息	 偏移量为:379	 分区为:9
消费第4046条消息, 	 内容为:这是第4046条消息	 偏移量为:380	 分区为:9
消费第4061条消息, 	 内容为:这是第4061条消息	 偏移量为:400	 分区为:8
消费第4065条消息, 	 内容为:这是第4065条消息	 偏移量为:381	 分区为:9
消费第4066条消息, 	 内容为:这是第4066条消息	 偏移量为:397	 分区为:7
消费第4067条消息, 	 内容为:这是第4067条消息	 偏移量为:398	 分区为:7
消费第4068条消息, 	 内容为:这是第4068条消息	 偏移量为:399	 分区为:7
消费第4075条消息, 	 内容为:这是第4075条消息	 偏移量为:401	 分区为:8

当只有一个消费者时的日志:
消费第4630条消息, 	 内容为:这是第4630条消息	 偏移量为:493	 分区为:4
消费第4631条消息, 	 内容为:这是第4631条消息	 偏移量为:470	 分区为:2
消费第4632条消息, 	 内容为:这是第4632条消息	 偏移量为:448	 分区为:8
消费第4633条消息, 	 内容为:这是第4633条消息	 偏移量为:480	 分区为:3
消费第4634条消息, 	 内容为:这是第4634条消息	 偏移量为:431	 分区为:9
消费第4635条消息, 	 内容为:这是第4635条消息	 偏移量为:427	 分区为:1
消费第4636条消息, 	 内容为:这是第4636条消息	 偏移量为:454	 分区为:7
消费第4637条消息, 	 内容为:这是第4637条消息	 偏移量为:461	 分区为:0
消费第4638条消息, 	 内容为:这是第4638条消息	 偏移量为:432	 分区为:9
消费第4639条消息, 	 内容为:这是第4639条消息	 偏移量为:471	 分区为:2
消费第4640条消息, 	 内容为:这是第4640条消息	 偏移量为:455	 分区为:7
消费第4641条消息, 	 内容为:这是第4641条消息	 偏移量为:428	 分区为:1
消费第4642条消息, 	 内容为:这是第4642条消息	 偏移量为:433	 分区为:9
消费第4643条消息, 	 内容为:这是第4643条消息	 偏移量为:447	 分区为:5

通过上面我们看到, 结果很明显, 要想使 kafka 的消息得到顺序消费, 要么只要有一个分区, 要么多个分区只要有一个消费者即可. 动态的添加或删除消费者, 如果没指定消费那个分区, 则会进行自动的负债均衡.

DJH2717
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
kafka java(api)
weixin_46415189的博客
08-19 1309
前提 在看javaapi演示前你需要了解一些kafka的概念: 1: 至少要会启动 kafka,知道默认端口号,可参看此博客链接: https://blog.csdn.net/weixin_46415189/article/details/119749267 kafka依赖zookeeper,所以,在此之前你最好先了解一下zookeeper,至少会启动 kafka启动时server.properties默认zookeeper地址配置为: 2: kafka只有主题,通过主题发送和订阅消息 3: kafk
基于Java API 方式使用Kafka
m0_59839948的博客
06-09 1748
基于Java API 方式使用Kafka
Kafka原生API使用Java代码-生产者-分区策略-默认分区策略&轮询分区策略
最新发布
小丁的博客
05-29 744
如果linger.ms 大于 0，并且当前批次中的消息数量尚未达到 batch.size 的限制，那么 Producer 会等待 linger.ms 指定的时间，看看是否还有更多的消息要发送到相同的分区。在 Kafka 的 Producer 配置中，linger.ms 参数用于控制 Producer 在发送消息之前等待更多消息到达相同分区（partition）的时间，以便可以将这些消息一起发送，从而提高吞吐量。需要注意的是，linger.ms 参数的值应该根据具体的业务场景和性能需求进行调整。
Kafka消息队列安装与使用（三）
木讷的鱼
10-22 307
Kafka消息队列安装与使用（三）四. Kafka API的使用4.1 Producer API4.1.1 消息发送流程4.1.2 异步发送 API4.1.3 同步发送 API4.2 Consumer API4.2.1 自动提交 offset4.2.2 手动提交 offset4.2.3 自定义存储 offset 四. Kafka API的使用 4.1 Producer API 4.1.1 消息发送流程 Kafka 的 Producer 发送消息采用的是异步发送的方式。在消息发送的过程中，涉及到了两个线程—
使用Kafka客户端(spring-kafka)的Java API操作Kafka的Topic
zhangbeizhen18的博客
06-17 4259
记录：458 场景：在Spring Boot微服务集成Kafka客户端spring-kafka-2.8.2操作Kafka的Topic的创建和删除。
Kafka的API-Java篇
h_big_tiger的博客
08-12 491
上一篇文章已经将Kafka的服务配置分享了一遍，这篇主要是将java的API分享一波。 Kafka有四个核心API： Producer API ：允许应用程序发送数据流到kafka集群中的topic。 Consumer API ：允许应用程序从kafka集群的topic中读取数据流。 Streams API ：允许从输入topic转换数据流到输出topic。 Connect API：通过实现连接...
kafka学习之一java api的使用
热门推荐
liushangzaibeijing的博客
12-22 4万+
本篇博文介绍了kafka在java环境的api使用，主要提供了三种方式 1、单纯的api调用kafka生产消费、2、spring整合kafka 3、springBoot整合kafka，是一篇不错的java使用kafka的示例，需要读者收藏以便以后使用。
Kafka Java API
qq_43502858的博客
07-21 314
文章目录Kafka Java API准备工作1.使用Java API操作Topic2.使用Java API创建生产者，并向指定主题推送数据3.使用Java API创建消费者，并从指定主题拉取数据 Kafka Java API 准备工作 （1）创建Maven项目，导入相关依赖 <dependencies> <dependency> ...
Flink+Kafka的JavaAPI应用
05-30
此案例使用的是IDEA开发工具，项目...使用JavaAPI操作Flink的流处理，Flink从Kafka中获取数据，执行处理后再执行输出。 根据（《Flink入门与实战》徐葳著）教材最后的综合案例改变，适合没有学习不会使用Flume的人使用
2、java调用kafka api
05-29
了解了Java调用Kafka API的基本概念和操作后，可以进一步学习Kafka的重要概念，如分区、副本、消费者组以及如何使用监控工具Kafka-Eagle进行性能监控和问题排查。通过深入理解这些概念和工具，可以更高效地利用Kafka...
KafkaDemo:kafka Java API
05-18
#Kafka Java API案例Producer可选配置，如果不配置，则使用默认的partitioner根据key值value映射到指定的Parition props.put("partitioner.class", "kafka.demo.PartitionerDemo");ConsumerString key=(String)obj; ...
Simple-Kafka:易于使用的 Apache Kafka Java API 包装器和实现
06-04
Simple-Kafka 旨在为生产者和消费者提供一个更简单的 Java API。 因此，对 Apache Kafka 知之甚少的人可以轻松地将这个实时消息传递系统集成到他们的项目中。 主要特征 1 : 更简单的Java Producer API，其实现和...
基于JAVA API方式使用Kafka——编写生产者客户端.docx
06-11
这个简单的示例展示了如何使用 Java API 创建一个基本的 Kafka 生产者，用于向 Kafka 集群发送字符串消息。实际应用中，可能需要处理更复杂的场景，如错误处理、批量发送、连接管理等。此外，还可以根据业务需求调整...
java创建kafka的topic
旋风的技术
03-03 6968
kafka 0.10及其以下版本创建topic 这个版本创建topic必须使用zookeeper，一般可以使用如下命令手动创建topic： bin/kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --replication-factor 3 --partitions 3 --topic test 那如何使用代码自动创建topic呢，可以使用AdminZkClient，示例如下： KafkaZkClient zkClient = KafkaZkClie
Kafka的命令使用和JavaAPI的操作和核心机制详解
yqqの博客
04-03 597
什么是消息队列呢?消息: 数据 只不过这个数据具有流动的状态队列: 存储数据的容器, 只不过这个容器具有FIFO(先进先出)特性消息队列: 数据在队列中, 从队列的一端传递到另一端的过程, 数据在整个队列中产生了一种流动状态​ kafka是Apache旗下的一款开源免费的消息队列的中间件产品 最早是有领英公司开发的, 后期贡献给Apache, 目前也是Apache旗下的顶级开源项目. 采用的语言为scala, Kafka2依然要依赖于zookeeper的。
【项目实战】Kafka中Topic创建介绍
本本本添哥
03-30 8015
Topic可以看作是一个消息队列生产者将消息发送到Topic中，消费者从Topic中消费消息。
Kafka的JavaAPI操作
qq_15083919的博客
05-29 1334
1、创建maven工程并添加jar包 创建maven工程并添加以下依赖jar包的坐标到pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://mav.
【Kafka学习-3】Kafka命令
weixin_45135482的博客
03-02 2136
Kafka的命令都是基于bin目录下的脚本来使用的。
java连接kafka
cxu123321的博客
10-16 2033
java连接kafka weixin_43315211 pom.xml配置： <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>0.11.0.0</version> </depe
Java调用Kafka API详解与实战教程
3. **异步回调**：文章深入讨论了Java调用Kafka API时的异步操作，解释了如何使用`Future`和`get()`方法来处理非阻塞式调用，确保应用程序的响应性和性能优化。 4. **处理复杂数据类型**：在生产者和消费者场景下，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值