spring 整合kafka实现 BatchAcknowledgingMessageListener 批量接收数据

最新推荐文章于 2023-08-16 14:39:23 发布
最新推荐文章于 2023-08-16 14:39:23 发布
阅读量4.2k 收藏 7
点赞数 4
分类专栏： kafka 文章标签： kafka BatchAcknowledgingMessage JAVA WEB spring 线程阻塞
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jinger_000/article/details/84189627
版权
本文介绍了如何在Spring中利用BatchAcknowledgingMessageListener接口实现Kafka消息的批量接收，以应对高吞吐量、高并发场景。升级Kafka到1.1.0后，调整配置文件，不再自动提交接收，并实现监听类。通过重载onMessage()方法，每次批量接收约500条数据，有效减少线程数，提高处理效率。
摘要由CSDN通过智能技术生成

之前参考别的文章实现了spring整合kafka接收单条数据处理，由于高吞吐量，高并发的需要，需要批量取kafka数据，并批量存储。在网上搜索的资料，发现资料比较少，本人在原来单条数据处理的基础上用BatchAcknowledgingMessageListener接口实现了批量接收kafka数据的功能。

前言：环境配置说明，由于spring托管的方式不支持低版本的kafka数据的批量接收，所以在升级kafka为1.1.0时再做批量接收处理。

兼容性参考下图：

1.环境配置:

名称 版本号 
spring-framework
 
4.2.3.RELEASE
 
kafka_2.11
 

  

 


                

        

        

    




        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  jinger_000
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    4
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    7
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
Kafka集成Spring-AcknowledgeMessageListener接口实现

				
			

			

				

					Q蛋黄酱的专栏
				

				

					08-17
					
					2万+
					
				

			

		

		

			
				
前言因工作需要，需在系统利用Kafka监听接口，实现消息队列中，对消息的消费，首选Kafka，因为看中其超高的吞吐量。基本概念
Producer: 特指消息的生产者
Consumer :特指消息的消费者
Consumer Group :消费者组，可以并行消费Topic中partition的消息
Broker：缓存代理，Kafa 集群中的一台或多台服务器统称为 broker。
Topic：特指 Kaf

			
		

	



                

              
                



	

		

			

				
					
kafka的ack的三种机制是什么?

					
最新发布

				
			

			

				

					6个日的博客
				

				

					05-22
					
					564
					
				

			

		

		

			
				
这种模式提供了最高的消息可靠性保证，因为只有当所有副本都成功写入消息时，生产者才认为消息已经成功发送。这种模式适用于对延迟要求极高且可以容忍一定数据丢失的场景，但如果Broker发生故障，可能会导致消息丢失。生产者在发送消息到Kafka集群时，可以通过设置不同的acks参数值来控制消息发送后的确认机制，从而平衡消息的可靠性和延迟时间。Kafka的ACK机制通过提供不同级别的确认策略，使得生产者可以根据具体的业务需求和对消息可靠性的要求，在吞吐量和消息可靠性之间做出权衡.

			
		

	



                


  
              

                


	

		

			

				
					
Spring Kafka：@KafkaListener 单条或批量处理消息

				
			

			

				

					yuechuzhixing的博客
				

				

					05-12
					
					2186
					
				

			

		

		

			
				
消息监听容器

1、KafkaMessageListenerContainer

由spring提供用于监听以及拉取消息，并将这些消息按指定格式转换后交给由@KafkaListener注解的方法处理，相当于一个消费者；

看看其整体代码结构：



图片


	可以发现其入口方法为doStart(), 往上追溯到实现了SmartLifecycle接口，很明显，由spring管理其start和stop操作；
	
	
	ListenerConsumer, 内部真正拉取消息消费的是这个结构，其 实现了Runabl

			
		

	





	

		

			

				
					
Spring-Kafka系列(3)—— SpringKafka消费者监听MessageListener

				
			

			

				

					SpringBoy的博客
				

				

					06-23
					
					6022
					
				

			

		

		

			
				
之前已经介绍了通过和工具来消费数据。下面介绍SpringKafka消费数据的方式——kafka消息监听器。Kafka的消息监听一般可以分为：1.单条数据监听；2.批量数据监听。是的消息监听器接口，也是一个函数式接口，利用接口的方法可以实现消费数据。
基于此接口可以实现单条数据消息监听器接口、多条数据消息监听器接口、带ACK机制的消息监听器和MessageListenerGenericMessageListener单条数据监听器BatchMessageListener批量数据监听器AckowledgingMe

			
		

	



		

			
		



	

		

			

				
					
大数据Kafka系列之Kafka监听方式实现消费者

					
热门推荐

				
			

			

				

					飞翔的博客
				

				

					04-02
					
					2万+
					
				

			

		

		

			
				
1. kafka监听接口

MessageListener接口：使用MessageListener接口实现时，当消费者拉取消息之后，消费完成会自动提交offset，即enable.auto.commit为true时，适合使用此接口；
	AcknowledgingMessageListener接口：使用AcknowledgeMessageListener时，当消费者消费一条消息之后，不会自动提交o...

			
		

	





	

		

			

				
					
spring boot整合spring-kafka实现发送接收消息实例代码

				
			

			

				

					08-30
				

			

		

		

			
				
Spring Boot 整合 Spring-Kafka 实现发送接收消息实例代码   Spring Boot 是一个基于 Java 的开源框架，它提供了一个灵活的方式来构建 Web 应用程序。Spring-Kafka 是一个基于 Apache Kafka 的消息队列组件，提供了...

			
		

	





	

		

			

				
					
SpringBoot 整合Kafka实现消息的发送和接收

				
			

			

				

					08-27
				

			

		

		

			
				
在本文中，我们将深入探讨如何将SpringBoot与Apache Kafka整合，以实现在应用程序中的消息发送和接收。Apache Kafka是一款高性能的分布式消息中间件，而SpringBoot则是简化Java应用开发的框架。结合两者，我们可以...

			
		

	





	

		

			

				
					
spring-kafka整合.docx

				
			

			

				

					02-24
				

			

		

		

			
				
Spring for Apache Kafka是Apache Kafka的一个Spring整合实现，旨在提供一个简洁、灵活的消息队列解决方案。下面是Spring for Apache Kafka的概述和关键特性：  概述 Spring for Apache Kafka是一个基于Apache Kafka...

			
		

	





	

		

			

				
					
spring整合kafka注解和xml两种方式

				
			

			

				

					10-26
				

			

		

		

			
				
根据项目需求和个人偏好，可以选择适合自己的方式来实现Spring与Kafka的整合。在提供的压缩包`spring-kafka5.2.8-注解.zip`和`spring-kafka5.28-xml.zip`中，包含了这两种方式的示例代码，供学习和参考。

			
		

	





	

		

			

				
					
kafka-python批量发送数据的实例

				
			

			

				

					09-19
				

			

		

		

			
				
本篇文章将详细讲解如何使用`kafka-python`批量发送数据到Kafka。  首先，我们需要导入所需的模块。在给出的实例中，我们使用了`KafkaClient`和`SimpleProducer`。`KafkaClient`用于连接到Kafka服务器，而`...

			
		

	





	

		

			

				
					
一步步解决spring-kafka消息丢失

				
			

			

				

					布道
				

				

					12-13
					
					1万+
					
				

			

		

		

			
				
kafka的高性能、流式响应、对大数据支持是有目共睹的，在我们内部项目product-search有使用CDC的解决方案，而kafka成为该方案的输出源，此时各个业务方只需要去订阅消费即可。

1. 问题描述

有一天有开发人员找到我：我的consumer端消费kafka为何有时候可以消费到数据，有时候不行？dev环境我自己试了是没有问题的，而test环境就不行，不行的时候系统也没有任何报错信息...

			
		

	





	

		

			

				
					
一次消息消费服务的内存泄漏排查小记

				
			

			

				

					云树在路上
				

				

					02-19
					
					655
					
				

			

		

		

			
				
线上有一个消息消费服务xxx-consumer，使用spring-kafka框架，主线程批量从消费队列（kafka）拉取交易系统生产的消息，然后提交到子线程池中挨个处理消费。


public abstract class AbstractMessageDispatchListener implements
        BatchAcknowledgingMessageListener<String, Msg>, ApplicationListener<ApplicationReady

			
		

	





	

		

			

				
					
Spring-Kafka消费者端源码分析

				
			

			

				

					Silence的博客
				

				

					12-26
					
					3782
					
				

			

		

		

			
				
本文按照源码分析三部曲：核心类->核心流程->核心逻辑，对spring-kafka消费端的源码实现进行分析。

			
		

	





	

		

			

				
					
Spring Cloud Stream消费Kafka消息出错时消费3次问题探究

				
			

			

				

					hunger_wang的博客
				

				

					01-17
					
					2334
					
				

			

		

		

			
				
背景
系统采用Spring Cloud Stream框架集成Kafka来实现异步消息。
问题
客户端消费某个topic消息出错时，会连续输出这个消息内容3次，同时没有提交offset。当有大量消息出错时，topic出现消息积压。
分析
首先，我们知道实现异步消息的系统架构一般包含3个部分：生产者Producer、消息中间件Broker、消费者Consumer。其中，


消息中间件Broker，是...

			
		

	





	

		

			

				
					
Apche Kafka + Spring的消息监听容器

				
			

			

				

					一起学习一起进步~
				

				

					08-16
					
					2057
					
				

			

		

		

			
				
例如，如果有 3 个主题，每个主题有 5 个分区，并且我们想要使用 concurrency=15，但是我们只会看到 5 个活动使用者，每个使用者从每个主题分配一个分区，而其他 10 个使用者处于空闲状态。TopicPartitionOffset提供了一个带有附加参数的构造函，boolean如果是true，则在容器启动时相对于该消费者的当前位置初始偏移（正或负）。使用事务（transactions）时，偏移量将发送到事务，语义相当于 RECORD 或 BATCH，具体取决于侦听器类型（记录或批处理）。

			
		

	





	

		

			

				
					
Springboot Kafka整合（二）( Receiving Messages)—官方原版

				
			

			

				

					深圳市多克创新科技有限公司
				

				

					04-02
					
					619
					
				

			

		

		

			
				
Springboot Kafka整合（二）—官方原版

			
		

	





	

		

			

				
					
kafka监听topic消费_Spring-Kafka（六）—— @KafkaListener的花式操作

				
			

			

				

					weixin_39918928的博客
				

				

					12-22
					
					1713
					
				

			

		

		

			
				
消息监听对于Kafka中Topic的数据消费，我们一般都选择使用消息监听器进行消费，怎么把消息监听器玩出花来呢，那就得看看它所实现的功能了。Spring-Kafka中消息监听大致分为两种类型，一种是单条数据消费，一种是批量消费；两者的区别只是在于监听器一次性获取消息的数量。GenericMessageListener是我们实现消息监听的一个接口，向上扩展的接口有非常多，比如：单数据消费的Messa...

			
		

	





	

		

			

				
					
RabbitMQ

				
			

			

				

					阿果子的博客
				

				

					09-22
					
					819
					
				

			

		

		

			
				
RabbitMQ在springboot的简单使用

			
		

	





	

		

			

				
					
spring boot整合kafka的详细实现

				
			

			

				

					04-25
				

			

		

		

			
				
好的，关于 spring boot 整合 Kafka，我为您提供以下实现方式：

1.添加 Maven 依赖
在 pom.xml 文件中添加 Kafka 的相关依赖包：

```
<dependency>
    <groupId>org.springframework.kafka</groupId>
    <artifactId>spring-kafka</artifactId>
    <version>2.2.7.RELEASE</version>
</dependency>
```

2.配置 Kafka 生产者和消费者
在 application.properties 文件中配置 Kafka 生产者和消费者的相关参数：

```
# Kafka 生产者参数
spring.kafka.producer.bootstrap-servers=localhost:9092
spring.kafka.producer.key-serializer=org.apache.kafka.common.serialization.StringSerializer
spring.kafka.producer.value-serializer=org.apache.kafka.common.serialization.StringSerializer
 
# Kafka 消费者参数
spring.kafka.consumer.bootstrap-servers=localhost:9092
spring.kafka.consumer.group-id=test-consumer-group
spring.kafka.consumer.auto-offset-reset=earliest
spring.kafka.consumer.key-deserializer=org.apache.kafka.common.serialization.StringDeserializer
spring.kafka.consumer.value-deserializer=org.apache.kafka.common.serialization.StringDeserializer
```

3.配置 Kafka 消息监听器
创建 Kafka 消息监听器，用于监听和处理 Kafka 消息：

```
@Component
public class KafkaConsumer {
    @KafkaListener(topics = "test_topic")
    public void listen(ConsumerRecord<?, ?> record) {
        System.out.println("topic:" + record.topic() + ",partition:" + record.partition() + ",offset:" + record.offset() + ",key:" + record.key() + ",value:" + record.value());
    }
}
```

4.编写 Kafka 生产者发送消息
编写 Kafka 生产者代码，用于向 Kafka 队列中发送消息：

```
@Autowired
private KafkaTemplate kafkaTemplate;

public void sendMessage(String topic, String message) {
    kafkaTemplate.send(topic, message);
}
```

以上就是一个简单的 Spring Boot 整合 Kafka 的实现方式，希望对您有所帮助。如有不足之处，请多多指教。

			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值