java 多线程消费kafka,多线程 Kafka 消费者

最新推荐文章于 2024-01-18 10:51:21 发布
最新推荐文章于 2024-01-18 10:51:21 发布
阅读量1k 收藏 2
点赞数
文章标签： java 多线程消费kafka

1. 为什么需要多线程

假设我们实现了一个通知模块允许一些用户通过这个模块订阅一些来自其他用户..其他应用的通知. 我们的模块所读取的就是其他用户或应用写入到 Kafka 集群的消息. 这个例子里面, 我们将创建一个消费者订阅 Kafka 的主题来实现.

期初, 所有的事情看起来都还不错. 然而, 当其他用户和应用产生通知的数量逐渐增多, 消息增加的速度已经超过了我们的模块处理的速度时, 会发生什么呢?

好吧, 所有的事情还 … 不坏. 我们的模块处理已经不能处理所有的消息/通知, 不过这些消息还存留在 Kafka topic 中. 可是, 当消息的数量越来越多, 事情变得危险了起来, 当达到数据保留策略的设置, 一些消息可能会丢失(指的是 Kafka 的数据保留策略, 可能是基于时间, 基于数据量, 基于 key 等). 而更重要的是, 我们的消息通知模块处理的消息已经被新增的消息甩得很远, 已经完全不是一个”消息通知”模块了.

是时候考虑一下多线程消费模式了.

2. 多线程消费 Kafka 模型

有两个可能的模型.

多个消费者 + 多线程, 每个消费者都拥有自己的线程 (Model #1)

单个消费者 + 多个任务处理线程

这两个模式都有各自的优缺点:

2.1 Model #1. 多个消费者 + 多线程

4d1fc9b31457b31299358cd42a57519f.png

优点

缺点

易于实现

消费者数量受限于主题的分区数量, 超过分区数量的消费者可能不工作

在每个分区上实现有序处理更容易。

会有多个 TCP 连接到 brokers 上

2.2 Model #2. 单个消费者 + 多个工作处理线程

b469e1ab3c36b0b660712ca637889402.png

优点

缺点

可灵活调整任务线程的数量

每个分区上实现有序处理很难. 假设同一分区上有2条消息由2个不同的线程处理。为了保证顺序，这两个线程必须以某种方式进行协调。(Let’s say there are 2 messages on the same partitions being processed by 2 different threads. To guarantee the order, those 2 threads must be coordinated somehow.)

3. 实现

接下来我们详细介绍一下这两种实现.

3.1 准备

Kafka 已经安装

JDK 7/8 已经安装

Eclipse

Maven 3

3.2 源码

原发放在了 Github 上, 可以从 这里 拉取, 也可以从 这里 下载.

源码中包含了前面提到的两个模式的实现

Model #1 在 com.howtoprogram.kafka.multipleconsumers 包里面

Model #2 在 com.howtoprogram.kafka.singleconsumer 包里面.

3.3 pom.xml

xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

xsi:schemaLocation="http://maven.apache.org/POM/4.0

http://maven.apache.org/maven-v4_0_0.xsd">

4.0.0

com.howtoprogram

kafka-multithreaded-java-example

0.0.1-SNAPSHOT

Kafka-MultiThread-Java-Example

UTF-8

1.8

1.8

org.apache.kafka

kafka-clients

0.9.0.1

provided

我们使用了 kafka-clients-0.9.0.1 库来实现这个例子, Java 版本为 1.8

4 Conclusion

We have taken a look at how to create multi-threaded Apache Kafka consumer with 2 possible models. They have their own pros and cons and depend on the specific circumstance we will decide which one is suitable. Maybe, there are some cases which the model #2 is suitable. In this case, each partition of a topic will be handled by each consumer thread. However, if the number messages for this partition is too much and the consumer fall far behind, we may need to combine both the model #1 and model #2.

Below are the articles related to Apache Kafka topic. If you’re interested in them, you can refer to the following links:

« EOF »

If you like TeXt, don’t forget to give me a star

42c537aba915ee184e82eccf5ee5dbe0.png.

住范儿
关注
java kafka 多线程消费
04-04 8262
我们先来看下简单的kafka生产者和消费者模式代码：生产者KafkaProducer/** * @author xiaofeng * @version V1.0 * @title: KafkaProducer.java * @package: com.yingda.xsignal.app.test * @description: kafka生产者demo * @date 2018/4/...
kafka使用_使用多线程增加kafka消费能力
weixin_39921504的博客
12-03 1528
原创：小姐姐味道(微信公众号ID：xjjdog)，欢迎分享，转载请保留出处。前提：本例适合那些没有顺序要求的消息主题。kafka通过一系列优化，写入和读取速度能够达到数万条/秒。通过增加分区数量，能够通过部署多个消费者增加并行消费能力。但还是有很多情况下，某些业务的执行速度实在是太慢，这个时候我们就要用到多线程去消费，提高应用机器的利用率，而不是一味的给kafka增加压力。使用Spring创建一个...
使用两种多线程模式消费kafka数据
AlgoRain的博客
05-31 2519
使用两种多线程模式消费数据 KafkaProducer是线程安全的,然而 KafkaConsumer却是非线程安全的。 Kafka Consumer中定义了一个 acquire(方法,用来检测当前是否只有一个线程在操作,若有其他线程正在操作则会抛出 Concurrentmodifcationexception异常: java.util.ConcurrentModificationException: KafkaConsumer is not safe for multi-threaded access. K
kafka多线程消费
热门推荐
燕少江湖
08-23 2万+
1、zookeeper集群搭建：https://blog.csdn.net/qq_31289187/article/details/80933365 2、kafka集群搭建：https://blog.csdn.net/qq_31289187/article/details/80955228 3、kafka生成消息：https://blog.csdn.net/qq_31289187/articl...
kafka java 多线程_实现一个简单的Kafka多线程消费模型
weixin_32921457的博客
02-17 745
最近项目上用到了Kafka(作为数据源接入)，这里将自己的实践分享出来，供大家参考或针砭。从网上查阅资料发现，基本上有2中与Kafka对接的方式：1.Spring-Kafka2.调用Kafka API自己实现ConsumerClientSpring-Kafka的基本原理就是Spring自动轮询Poll数据，通过监听器MessageListener.onMessage()向用户自定义的消费入口(@K...
java 多线程消费kafka_使用多线程增加kafka消费能力
weixin_42300525的博客
02-16 3481
前提：本例适合那些没有顺序要求的消息主题。kafka通过一系列优化，写入和读取速度能够达到数万条/秒。通过增加分区数量，能够通过部署多个消费者增加并行消费能力。但还是有很多情况下，某些业务的执行速度实在是太慢，这个时候我们就要用到多线程去消费，提高应用机器的利用率，而不是一味的给kafka增加压力。使用Spring创建一个kafka消费者是非常简单的。我们选择的方式是继承kafka的Shutdow...
java 多线程消费kafka_使用两种多线程模式消费kafka数据
weixin_35433448的博客
02-16 2325
使用两种多线程模式消费数据KafkaProducer是线程安全的,然而 KafkaConsumer却是非线程安全的。 Kafka Consumer中定义了一个 acquire(方法,用来检测当前是否只有一个线程在操作,若有其他线程正在操作则会抛出 Concurrentmodifcationexception异常:java.util.ConcurrentModificationException: ...
python kafka 多线程消费者&手动提交实例
01-20
from kafka import KafkaConsumer, TopicPartition, OffsetAndMetadata from consumers.db_util import * from consumers.json_dispose import * from collections import OrderedDict threads = []
python多线程消费kafka中的数据_使用多线程增加kafka消费能力
weixin_39938746的博客
12-11 1862
前提：本例适合那些没有顺序要求的消息主题。kafka通过一系列优化，写入和读取速度能够达到数万条/秒。通过增加分区数量，能够通过部署多个消费者增加并行消费能力。但还是有很多情况下，某些业务的执行速度实在是太慢，这个时候我们就要用到多线程去消费，提高应用机器的利用率，而不是一味的给kafka增加压力。使用Spring创建一个kafka消费者是非常简单的。我们选择的方式是继承kafka的Shutdow...
python多线程消费kafka_kafka多线程消费（同一个group）
weixin_35886660的博客
01-29 2516
最近在做kafka的多线程消费。碰到一个奇怪的问题。按照kafka的介绍，同一个group的消费者consumer，应该是处理不同的数据，但是我在调试程序的时候出现了以下结果：注：topic: FREIGHT 有两个分区，其中一个分区没有数据，另一个分区有数据，我开了两个线程来处理。我心目中理想的情况应该是，一个线程不断拿到数据，另一个线程无法拿到数据，不断等数据进来。还请那位兄弟能够帮忙解惑一下...
kafka demo ，两种线程消费方式
09-20
kafka学习过程，maven工程，包含基础过程、提升过程。可供大家学习一下，里面有详细注释，一个groupid多个Consumer来消费消息和一个Consumer且有多个线程消费
kafka java 多线程_【原创】Kafka Consumer多线程实例
weixin_36371906的博客
02-13 318
Kafka 0.9版本开始推出了Java版本的consumer，优化了coordinator的设计以及摆脱了对zookeeper的依赖。社区最近也在探讨正式用这套consumer API替换Scala版本的consumer的计划。鉴于目前这方面的资料并不是很多，本文将尝试给出一个利用KafkaConsumer编写的多线程消费者实例，希望对大家有所帮助。这套API最重要的入口就是KafkaConsu...
多线程消费KafkaDemo
weixin_45724648的博客
06-20 1053
在该消费者中，消费线程实现了Runnable接口，在其run()方法中实现了消费者实际的逻辑，通过调用ConsumerRecord.value()方法来获取消息。消费者逻辑可以根据具体需求进行实现。这是一段基于Java开发的Kafka消费者代码。在该代码中，我们使用了多线程机制、线程池和多个消费线程来同时消费Kafka中的消息。
Kafka Consumer多线程消费
looo000ngname的博客
01-22 1458
01 概述 关于Kafka Java Consumer多线程消费的实现，多个线程可能拿到相同分区的数据，而消费的顺序会破坏消息本身在分区中的顺序，因而扰乱位移的提交。 使用KafkaConsumer的pause和resume方法来防止这种情形的发生。另外，本次我会编写一个测试类用于验证消费相同数量消息时，单线程消费速度要远逊于多线程消费。 这一次，我编写了5个java文件，它们分别是： ***OrdinaryConsumer.java：***普通的单线程Consumer，用于后面进行性能测试对比用。 ***
多线程消费Kafka数据
mrye的博客
01-13 687
import com.base.JavaKafkaConfigurer; import org.apache.kafka.clients.consumer.ConsumerConfig; import org.apache.kafka.clients.consumer.ConsumerRecord; import org.apache.kafka.clients.consumer.ConsumerRecords; import org.apache.kafka.clients.consumer.Kafka.
【Kafka 多线程消费】
u012632105的博客
03-01 274
kafka 多线程消费 - 凌-风 - 博客园
Kafka-多线程消费及分区设置
最新发布
qq_36782325的博客
01-18 2663
设置kafka消费实例数量，实现多线程消费
kafka入门(三)：kafka多线程消费
一生编程，快乐编程
12-05 975
如果生产者发送消息的速度过快，或者是消费者处理消息的速度太慢，那么就会有越来越多的消息无法及时消费，也就是消费积压。消费积压时，可以使用多线程消费，提高消费速度。《深入理解Kafka：核心设计与实践原理》
java多线程消费kafka
06-03
要使用Java多线程消费Kafka，可以使用Kafka提供的Consumer API，并将其与Java多线程结合使用。以下是一些基本步骤： 1. 创建Kafka Consumer实例 首先，需要创建一个Kafka Consumer实例。可以使用Kafka提供的工厂类创建一个Consumer实例，如下所示： ```java Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("group.id", "test-group"); KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props); ``` 2. 订阅Topic 接下来，需要订阅一个或多个Topic，以便从Kafka集群中获取数据。可以使用`subscribe()`方法进行订阅，如下所示： ```java consumer.subscribe(Arrays.asList("topic1", "topic2")); ``` 3. 创建消费者线程 为了使用多线程消费Kafka，需要创建一个或多个消费者线程，每个线程负责消费一个Partition的数据。线程可以使用Java的Executor框架来创建，如下所示： ```java ExecutorService executor = Executors.newFixedThreadPool(10); while (true) { ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100)); for (ConsumerRecord<String, String> record : records) { executor.submit(new ConsumerThread(record)); } } ``` 在上面的代码中，`poll()`方法获取来自Kafka的数据，并将其分配给一个或多个消费者线程进行处理。每个消费者线程都需要实现`Runnable`接口，并在`run()`方法中处理数据。例如： ```java public class ConsumerThread implements Runnable { private final ConsumerRecord<String, String> record; public ConsumerThread(ConsumerRecord<String, String> record) { this.record = record; } @Override public void run() { // 处理数据 System.out.println(Thread.currentThread().getName() + " received message: " + record.value()); } } ``` 在上面的代码中，`ConsumerThread`类实现了`Runnable`接口，并在`run()`方法中处理来自Kafka的数据。 4. 关闭Consumer实例 最后，需要在程序退出时关闭Kafka Consumer实例，以释放资源。可以使用`close()`方法进行关闭，如下所示： ```java consumer.close(); ``` 以上就是使用Java多线程消费Kafka的基本步骤。需要注意的是，多线程消费Kafka需要考虑各种并发和线程安全问题，例如数据竞争、重复消费、消息丢失等。因此，在实际应用中需要仔细设计和测试。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值