java 多线程消费kafka_使用多线程增加kafka消费能力

最新推荐文章于 2024-05-23 10:12:12 发布
最新推荐文章于 2024-05-23 10:12:12 发布
阅读量3.3k 收藏 15
点赞数 1
文章标签： java 多线程消费kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42300525/article/details/114224625
版权

前提：本例适合那些没有顺序要求的消息主题。

kafka通过一系列优化，写入和读取速度能够达到数万条/秒。通过增加分区数量，能够通过部署多个消费者增加并行消费能力。但还是有很多情况下，某些业务的执行速度实在是太慢，这个时候我们就要用到多线程去消费，提高应用机器的利用率，而不是一味的给kafka增加压力。

a152c51bc25adbb3a5cb06ad4b0ae206.png

使用Spring创建一个kafka消费者是非常简单的。我们选择的方式是继承kafka的ShutdownableThread，然后实现它的doWork方法即可。

多线程消费某个分区的数据

即然是使用多线程，我们就需要新建一个线程池。

40ddaf439d03ceaf2a131728b00d8c21.png

我们创建了一个最大容量为20的线程池，其中有两个参数需要注意一下。(参考《JAVA多线程使用场景和注意事项简版》)。

我们使用了了零容量的SynchronousQueue，一进一出，避免队列里缓冲数据，这样在系统异常关闭时，就能排除因为阻塞队列丢消息的可能。

然后使用了CallerRunsPolicy饱和策略，使得多线程处理不过来的时候，能够阻塞在kafka的消费线程上。

然后，

最低0.47元/天 解锁文章
我是只小小鹿吖
关注
  • 1
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
kafka使用_使用多线程增加kafka消费能力
weixin_39921504的博客
12-03 1411
原创：小姐姐味道(微信公众号ID：xjjdog)，欢迎分享，转载请保留出处。前提：本例适合那些没有顺序要求的消息主题。kafka通过一系列优化，写入和读取速度能够达到数万条/秒。通过增加分区数量，能够通过部署多个消费者增加并行消费能力。但还是有很多情况下，某些业务的执行速度实在是太慢，这个时候我们就要用到多线程去消费，提高应用机器的利用率，而不是一味的给kafka增加压力。使用Spring创建一个...
java 多线程消费kafka,多线程 Kafka 消费者
weixin_31558841的博客
03-14 947
1. 为什么需要多线程假设我们实现了一个通知模块允许一些用户通过这个模块订阅一些来自其他用户..其他应用的通知. 我们的模块所读取的就是其他用户或应用写入到 Kafka 集群的消息. 这个例子里面, 我们将创建一个消费者订阅 Kafka 的主题来实现.期初, 所有的事情看起来都还不错. 然而, 当其他用户和应用产生通知的数量逐渐增多, 消息增加的速度已经超过了我们的模块处理的速度时, 会发生什么呢...
Kafka-多线程消费及分区设置
qq_36782325的博客
01-18 2112
设置kafka消费实例数量，实现多线程消费
【JAVA】Java如何连接消费Kafka
tr6666的博客
05-23 787
在现代数据驱动的世界中，实时数据流处理已经成为许多应用的核心部分。Apache Kafka是一个分布式流处理平台，被广泛用于实时数据流处理、日志聚合和实时分析。在这篇博客中，我们将探讨如何使用Java来连接并消费Kafka的消息。在这篇博客中，我们讨论了如何使用Java来连接并消费Kafka的消息。我们首先解释了KafkaConsumer的主要函数和配置，然后给出了一个基本的示例代码。希望这篇博客能帮助你理解如何在Java中使用Kafka。
多线程消费KafkaDemo
weixin_45724648的博客
06-20 900
在该消费者中，消费线程实现了Runnable接口，在其run()方法中实现了消费者实际的逻辑，通过调用ConsumerRecord.value()方法来获取消息。消费者逻辑可以根据具体需求进行实现。这是一段基于Java开发的Kafka消费者代码。在该代码中，我们使用了多线程机制、线程池和多个消费线程来同时消费Kafka中的消息。
SynchronousQueue简介
白羊座的橙子
10-06 549
是一个具有零容量的队列，它不保存任何元素，它的主要作用是在线程之间传递数据。当生产者线程尝试将数据放入时，它会阻塞，直到有一个消费者线程来获取这个数据。同样地，当消费者线程尝试从获取数据时，它也会阻塞，直到有一个生产者线程将数据放入队列。可以用于线程之间的一对一数据传递，或者多个生产者和多个消费者之间的数据传递。
Unity手游框架之 资源管理
joynson的专栏
02-17 4828
Unity手游框架之 资源管理引子资源管理是做什么用的，让我们先来看一段代码public void SetHeroInfo(HeroInfo heroInfo) { GetControls(); int heroResId = heroInfo.Id & 0xffff; HeroTableData heroTableData = Database.me.GetById<Her
python kafka 多线程消费者&手动提交实例
01-20
from kafka import KafkaConsumer, TopicPartition, OffsetAndMetadata from consumers.db_util import * from consumers.json_dispose import * from collections import OrderedDict threads = []
springMVC+多线程+kafka的 demo基于maven
07-07
在本项目中，我们探索了如何将Spring MVC框架与多线程、线程池和Apache Kafka集成，构建一个高效的数据处理系统。以下是关于这些技术及其整合的详细知识点： 1. **Spring MVC**： - Spring MVC是Spring框架的一个...
kafka demo ，两种线程消费方式
09-20
kafka学习过程，maven工程，包含基础过程、提升过程。可供大家学习一下，里面有详细注释，一个groupid多个Consumer来消费消息和一个Consumer且有多个线程消费
kafka多线程顺序消费
07-17
"kafka 多线程顺序消费"这个主题是关于如何在 Kafka 消费端利用多线程实现高效且有序的数据消费。在本文中，我们将深入探讨 Kafka 的多线程消费机制以及如何确保数据的顺序性。 Kafka 是 Apache 开源项目，它提供了...
java 多线程生产者消费者模型demo
03-31
在实际编程中，理解并熟练运用Java的多线程生产和消费者模型，不仅可以提高程序的并发性能，还能有效地解决资源争抢和同步问题，是提升Java并发编程能力的关键一步。通过`demo`项目的实践，你可以更好地理解和掌握这...
kafka提高消费能力
weixin_43950558的博客
11-23 2917
因业务约束，发送到kafka的单条消息的大小达到了125k。并且存在远程调用瓶颈，目前阶段无法解耦。在此条件下，系统上了生产第一天就遇到了消费瓶颈，并且10分钟积压消息达到了100w+，为此记录问题发现过程以及解决方案。
kafka Consumer 消费者使用多线程并发执行，并保证顺序消费， 第一种使用纯线程方式、第二种使用Executors线程池
AutoEE-自动智能开发平台
08-25 3885
kafka Consumer 消费者 多线程 顺序消费 Executors 线程池
老汉谈——线程池原理
平凡君
07-07 534
线程池 JDK1.8官方介绍： Thread pools address two different problems: they usually provide improved performance when executing large numbers of asynchronous tasks, due to reduced per-task invocation overh...
线程池三种队列使用,SynchronousQueue,LinkedBlockingQueue,ArrayBlockingQueue
weixin_30672019的博客
09-23 585
使用方法： private static ExecutorService cachedThreadPool = new ThreadPoolExecutor(4, Runtime.getRuntime().availableProcessors() * 2, 0, TimeUnit.MILLISECONDS, new SynchronousQueue<>(), r -&gt...
同步队列SynchronousQueue使用场景介绍
当我谈编程时我谈些什么
11-15 3280
同步队列：SynchronousQueue，零容量的SynchronousQueue，一进一出，避免队列里缓冲数据，这样在系统异常关闭时，就能排除因为阻塞队列丢消息的可能 SynchronousQueue没有容量，是无缓冲等待队列，是一个不存储元素的阻塞队列。 使用SynchronousQueue阻塞队列一般要求maximumPoolSizes为无界(Integer.MAX_VALUE)，避免线程拒绝执行操作。 风险：机器线程耗尽，导致宕机 ...
MongoDB的Linux安装、基本操作、可视化、实验源码与报告文档
最新发布
07-10
MongoDB的Linux安装 在Linux上安装MongoDB，通常可以通过包管理器（如apt-get、yum等）或从MongoDB官网下载压缩包进行手动安装。以下是通过包管理器安装MongoDB的简要步骤（以Ubuntu为例）： 更新系统： 打开终端，使用sudo apt-get update命令更新系统包列表。 安装MongoDB： 使用sudo apt-get install -y mongodb命令安装MongoDB。这将自动处理依赖关系，并安装MongoDB服务器。 启动MongoDB服务： 安装完成后，可以使用sudo systemctl start mongod命令启动MongoDB服务。 验证安装： 使用mongo命令连接到MongoDB shell，如果能够成功连接并显示MongoDB的shell提示符，则表示MongoDB已成功安装并正在运行。 注意：以上步骤是基于Ubuntu系统的示例。对于其他Linux发行版，安装命令可能有所不同。此外，也可以从MongoDB官网下载.tgz压缩包进行手动安装，具体步骤包括下载、解压、配置环境变量、创建数据存储目录等。 M
java多线程消费kafka
06-03
要使用Java多线程消费Kafka，可以使用Kafka提供的Consumer API，并将其与Java多线程结合使用。以下是一些基本步骤： 1. 创建Kafka Consumer实例 首先，需要创建一个Kafka Consumer实例。可以使用Kafka提供的工厂类创建一个Consumer实例，如下所示： ```java Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("group.id", "test-group"); KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props); ``` 2. 订阅Topic 接下来，需要订阅一个或多个Topic，以便从Kafka集群中获取数据。可以使用`subscribe()`方法进行订阅，如下所示： ```java consumer.subscribe(Arrays.asList("topic1", "topic2")); ``` 3. 创建消费者线程 为了使用多线程消费Kafka，需要创建一个或多个消费者线程，每个线程负责消费一个Partition的数据。线程可以使用Java的Executor框架来创建，如下所示： ```java ExecutorService executor = Executors.newFixedThreadPool(10); while (true) { ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100)); for (ConsumerRecord<String, String> record : records) { executor.submit(new ConsumerThread(record)); } } ``` 在上面的代码中，`poll()`方法获取来自Kafka的数据，并将其分配给一个或多个消费者线程进行处理。每个消费者线程都需要实现`Runnable`接口，并在`run()`方法中处理数据。例如： ```java public class ConsumerThread implements Runnable { private final ConsumerRecord<String, String> record; public ConsumerThread(ConsumerRecord<String, String> record) { this.record = record; } @Override public void run() { // 处理数据 System.out.println(Thread.currentThread().getName() + " received message: " + record.value()); } } ``` 在上面的代码中，`ConsumerThread`类实现了`Runnable`接口，并在`run()`方法中处理来自Kafka的数据。 4. 关闭Consumer实例 最后，需要在程序退出时关闭Kafka Consumer实例，以释放资源。可以使用`close()`方法进行关闭，如下所示： ```java consumer.close(); ``` 以上就是使用Java多线程消费Kafka的基本步骤。需要注意的是，多线程消费Kafka需要考虑各种并发和线程安全问题，例如数据竞争、重复消费、消息丢失等。因此，在实际应用中需要仔细设计和测试。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值