java 多线程消费kafka_使用两种多线程模式消费kafka数据

最新推荐文章于 2024-01-18 10:51:21 发布

柚木i

最新推荐文章于 2024-01-18 10:51:21 发布

阅读量2.3k

点赞数 1

文章标签： java 多线程消费kafka

本文链接：https://blog.csdn.net/weixin_35433448/article/details/114224621

版权

本文介绍了KafkaConsumer的线程安全问题，并提出了两种多线程消费Kafka数据的实现方式。第一种是为每个线程创建独立的KafkaConsumer实例，避免并发修改异常；第二种是通过线程池处理消费到的消息，提升处理性能，防止消费速度跟不上拉取速度。同时，代码示例展示了这两种多线程消费模式的实现细节。

摘要由CSDN通过智能技术生成

使用两种多线程模式消费数据

KafkaProducer是线程安全的,然而 KafkaConsumer却是非线程安全的。 Kafka Consumer中定义了一个 acquire(方法,用来检测当前是否只有一个线程在操作,若有其他线程正在操作则会抛出 Concurrentmodifcationexception异常:

java.util.ConcurrentModificationException: KafkaConsumer is not safe for multi-threaded access.

KafkaConsumer非线程安全并不意味着我们在消费消息的时候只能以单线程的方式执行。如果生产者发送消息的速度大于消费者处理消息的速度,那么就会有越来越多的消息得不到及时的消费,造成了一定的延迟。除此之外,由于Kafka中消息保留机制的作用,有些消息有可能在被消费之前就被清理了,从而造成消息的丢失。我们可以通过多线程的方式来实现消息消费,多线程的目的就是为了提高整体的消费能力。多线程的实现方式有多种,第一种也是最常见的方式:线程封闭,即为每个线程实例化一个KafkaConsumer对象,如图3-10所示。

第一种多线程消费实现方式

一个线程对应一个KafkaConsumer实例,我们可以称之为消费线程。一个消费线程可以消费一个或多个分区中的消息,所有的消费线程都隶属于同一个消费组。这种实现方式的并发度受限于分区的实际个数,当消费线程的个数大于分区数时,就有部分消费线程一直处于空闲的状态。

package com.rain.demo;

import org.apache.kafka.clients.consumer.ConsumerConfig;

import org.apache.kafka.clients.consumer.ConsumerRecord;

import org.apache.kafka.clients.consumer.ConsumerRecords;

import org.apache.kafka.clients.consumer.KafkaConsumer;

import org.apache.kafka.common.serialization.StringDeserializer;

import java.lang.reflect.Array;

import java.time.Duration;

import java.util.Arrays;

import java.util.Properties;