spring加kafka

最新推荐文章于 2023-10-20 17:11:17 发布
最新推荐文章于 2023-10-20 17:11:17 发布
阅读量86 收藏
点赞数
分类专栏： kafka 文章标签： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46204282/article/details/111247601
版权

spring加kafka

1.导入jar

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
	<modelVersion>4.0.0</modelVersion>
	<groupId>com.zrj.points</groupId>
	<artifactId>kafka-consumer</artifactId>
	<packaging>war</packaging>
	<version>0.0.1-SNAPSHOT</version>
	<name>kafka-consumer</name>
	<url>http://maven.apache.org</url>
	<properties>
		<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
		<spring.version>4.3.3.RELEASE</spring.version>
	</properties>
 
 
	<dependencies>
		<dependency>
			<groupId>junit</groupId>
			<artifactId>junit</artifactId>
			<version>4.12</version>
			<scope>test</scope>
		</dependency>
		<dependency>
			<groupId>org.springframework</groupId>
			<artifactId>spring-beans</artifactId>
			<version>${spring.version}</version>
		</dependency>
		<dependency>
			<groupId>org.springframework</groupId>
			<artifactId>spring-context</artifactId>
			<version>${spring.version}</version>
		</dependency>
		<dependency>
			<groupId>org.springframework</groupId>
			<artifactId>spring-context-support</artifactId>
			<version>${spring.version}</version>
		</dependency>
		<dependency>
			<groupId>org.springframework</groupId>
			<artifactId>spring-web</artifactId>
			<version>${spring.version}</version>
		</dependency>
		<dependency>
			<groupId>org.springframework</groupId>
			<artifactId>spring-webmvc</artifactId>
			<version>${spring.version}</version>
		</dependency>
		<dependency>
			<groupId>org.springframework</groupId>
			<artifactId>spring-jms</artifactId>
			<version>${spring.version}</version>
		</dependency>
		<dependency>
			<groupId>org.springframework</groupId>
			<artifactId>spring-web</artifactId>
			<version>${spring.version}</version>
		</dependency>
		<dependency>
			<groupId>org.springframework.kafka</groupId>
			<artifactId>spring-kafka</artifactId>
			<version>1.1.0.RELEASE</version>
		</dependency>
		<dependency>
			<groupId>org.apache.logging.log4j</groupId>
			<artifactId>log4j-1.2-api</artifactId>
			<version>2.2</version>
		</dependency>
		<dependency>
			<groupId>org.apache.logging.log4j</groupId>
			<artifactId>log4j-api</artifactId>
			<version>2.2</version>
		</dependency>
		<dependency>
			<groupId>org.apache.logging.log4j</groupId>
			<artifactId>log4j-core</artifactId>
			<version>2.2</version>
		</dependency>
		<dependency>
			<groupId>org.apache.logging.log4j</groupId>
			<artifactId>log4j-jcl</artifactId>
			<version>2.2</version>
		</dependency>
		<dependency>
			<groupId>org.apache.logging.log4j</groupId>
			<artifactId>log4j-slf4j-impl</artifactId>
			<version>2.2</version>
		</dependency>
	</dependencies>
 
	<build>
		<finalName>kafka-consmer</finalName>
		<plugins>
			<plugin>
				<artifactId>maven-compiler-plugin</artifactId>
				<configuration>
					<source>1.7</source>
					<target>1.7</target>
					<encoding>UTF-8</encoding>
				</configuration>
			</plugin>
			
			<plugin>
				<groupId>org.eclipse.jetty</groupId>
				<artifactId>jetty-maven-plugin</artifactId>
				<version>9.2.11.v20150529</version>
				<configuration>
					<jvmArgs>-Xms456m -Xmx456m -XX:MaxNewSize=456m
						-XX:MaxPermSize=1024m</jvmArgs>
					<scanIntervalSeconds>10</scanIntervalSeconds>
					<webApp>
						<contextPath>/</contextPath>
					</webApp>
					<httpConnector>
						<port>9090</port>
					</httpConnector>
				</configuration>
			</plugin>
		</plugins>
	</build>
</project>

2，生产者

package com.zrj.points;
 
import java.util.Properties;
 
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerRecord;
 
public class PointsKafkaProducerSimulator {
	
	public static void main(String[] args) {
        Properties props = new Properties();
        props.put("bootstrap.servers", "172.28.40.26:9092");
        props.put("acks", "all");
        props.put("retries", 0);
        props.put("batch.size", 16384);
        props.put("linger.ms", 1);
        props.put("buffer.memory", 33554432);
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
 
        Producer<String, String> producer = new KafkaProducer<>(props);
        for(int i = 0; i < 100; i++){
            System.out.println("-----" + i);
            producer.send(new ProducerRecord<String, String>("test", Integer.toString(i), "Msg:"+Integer.toString(i)));
        }
        producer.close();
    }
}

3，消费者

package com.zrj.points;
 
import java.util.Arrays;
import java.util.Properties;
 
import org.apache.commons.logging.Log;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.logging.log4j.LogManager;
import org.springframework.kafka.listener.MessageListener;
 
 
/**
 * 业务日志消费者监听器
 * @author qianll
 *
 */
public class PointsKafkaConsumerListener implements MessageListener<String, String>{
    public void init(){
    	Log log = LogHelper.getLog(LogTypeEnum.PAY);
    	LogManager.getLogger("points").info("XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX");
        System.out.println("SSSSSSSSSSSSSSSSSinit--------------");
    }
    
	@Override
	public void onMessage(ConsumerRecord<String, String> record) {
		System.out.println("XXXXXXXXXXXX"+record.key()+" : "+record.value());
	}
	
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put("bootstrap.servers", "172.28.40.26:9092");
        props.put("group.id", "test");
        props.put("enable.auto.commit", "true");
        props.put("auto.commit.interval.ms", "1000");
        props.put("session.timeout.ms", "30000");
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Arrays.asList("test"));
        while (true) {
            System.out.println("-----");
            ConsumerRecords<String, String> records = consumer.poll(9);
            for (ConsumerRecord<String, String> record : records)
                System.out.printf("XXXXXXXXXXXX"+"offset = %d, key = %s, value = %s", record.offset(), record.key(), record.value());
        }
    }
}

4，spring bean配置

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
	xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:redis="http://www.springframework.org/schema/redis"
	xmlns:batch="http://www.springframework.org/schema/batch" xmlns:cache="http://www.springframework.org/schema/cache"
	xmlns:p="http://www.springframework.org/schema/p" xmlns:context="http://www.springframework.org/schema/context"
	xsi:schemaLocation="http://www.springframework.org/schema/batch http://www.springframework.org/schema/batch/spring-batch.xsd
       http://www.springframework.org/schema/redis http://www.springframework.org/schema/redis/spring-redis.xsd
       http://www.springframework.org/schema/cache http://www.springframework.org/schema/cache/spring-cache.xsd
       http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context.xsd
       http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd">
 
	<!-- 定义consumer的参数 -->
    <bean id="consumerProperties" class="java.util.HashMap">
        <constructor-arg>
            <map>
                <entry key="bootstrap.servers" value="${bootstrap.servers}"/>
                <entry key="group.id" value="0"/>
                <entry key="enable.auto.commit" value="true"/>
                <entry key="auto.commit.interval.ms" value="1000"/>
                <entry key="session.timeout.ms" value="15000"/>
                <entry key="key.deserializer" value="org.apache.kafka.common.serialization.StringDeserializer"/>
                <entry key="value.deserializer" value="org.apache.kafka.common.serialization.StringDeserializer"/>
            </map>
        </constructor-arg>
    </bean>
    
    <bean id="consumerFactory" class="org.springframework.kafka.core.DefaultKafkaConsumerFactory">
        <constructor-arg ref="consumerProperties"/>
    </bean>
    
    <!-- 实际执行消息消费的类 -->
    <bean id="messageListener" class="com.zrj.points.PointsKafkaConsumerListener" init-method="init"/>
    
    <!-- 消费者容器配置信息 -->
    <bean id="containerProperties" class="org.springframework.kafka.listener.config.ContainerProperties">
        <constructor-arg name="topics" value="test"/>
        <property name="messageListener" ref="messageListener"/>
    </bean>
    
    <bean id="messageListenerContainer" class="org.springframework.kafka.listener.KafkaMessageListenerContainer" init-method="doStart">
        <constructor-arg ref="consumerFactory"/>
        <constructor-arg ref="containerProperties"/>
        <property name="autoStartup" value="true" />
    </bean>
</beans>
小橘子丶
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spring-kafka
11-12
spring kafka的整合， kafka zk需要自己下载。 配置自己百度
spring-kafka 整合官方文档
09-29
spring-kafka 整合官方文档,提供spring和kafka的配置操作
Spring集成Kafka
ALiangXLogic的博客
06-12 4598
Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。
Spring整合kafka
程序三两行
04-17 1840
ssm项目使用kafka 只用spring-kafka依赖就行注入KafkaTemplate模板消息发送监听消息消费测试发送。
SpringBoot集成Kafka详解
最新发布
qq_20865839的博客
10-20 8813
我们知道，kafka中每个topic被划分为多个分区，那么生产者将消息发送到topic时，具体追加到哪个分区呢？这就是所谓的分区策略，Kafka 为我们提供了默认的分区策略，同时它也支持自定义分区策略。其路由机制为：1.若发送消息时指定了分区（即自定义分区策略），则直接将消息append到指定分区；
Kafka入门（五）spring集成kafka
楚景华
06-03 3316
已经在docker上安装zookeeper和kafka 现在尝试在springBoot中集成kafka 为了方便测试，将consumer和produce
Spring整合Kafka
qq_51118755的博客
02-04 2902
Apache Kafka发源于LinkedIn，于2011年成为Apache的孵化项目，随后于2012年成为Apache的主要项目之一。-Kafka使用Scala和Java进行编写。Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统。Kafka具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。
spring_kafka
11-16
主要是用这个来学习Spring中kafka的开发，功能包含用户登录，注册，发送消息，后台接受消息并处理等。。 window平台，需要安装zookeeper以及kafka 数据库用的mysql，数据库配置在mysql_config.xml文件里，数据库里...
spring-kafka整合.docx
02-24
spring-kafka整合.docx
Springboot Kafka整合（开发实例、连接、配置TOPICS、发送消息）—官方原版
深圳市多克创新科技有限公司
04-01 2596
Springboot Kafka整合—官方原版
SpringBoot——集成Kafka详解
热门推荐
吴声子夜歌的博客
08-21 2万+
我们知道，kafka中每个topic被划分为多个分区，那么生产者将消息发送到topic时，具体追加到哪个分区呢？这就是所谓的分区策略，Kafka 为我们提供了默认的分区策略，同时它也支持自定义分区策略。若发送消息时指定了分区（即自定义分区策略），则直接将消息append到指定分区；若发送消息时未指定 patition，但指定了 key（kafka允许为每条消息设置一个key），则对key值进行hash计算，根据计算结果路由到指定分区，这种情况下可以保证同一个 Key 的所有消息都进入到相同的分区；
springboot 连接 kafka集群（kafka版本 2.13-3.4.0）
一起学习一起进步~
06-09 8200
消息的接受有多种方式，我们这里选择的是使用 @KafkaListener 注解来进行消息接收。实现该接口的方法，我们可以获取包含发送结果（成功或失败）的异步回调，也就是可以在这个接口的实现中获取发送结果。写一个controller类来测试我们构建的发布者类，这个类中打印接收到的消息，来确保信息接收不出问题。继续使用postman调用我们写好的发布者发布消息，观察控制台的消费者类是否有相关日志出现。我们简单的实现构建一个发布者类，接收主题和发布消息参数，并打印发布结果。配置好后，我们就可以使用这个注解了。
知识点16--spring boot整合kafka
别人笑我太疯癫，我笑他人看不穿。
06-18 1万+
本篇知识点沿用知识点15的项目，为大家介绍spring boot如何连接kafka，本章有些长请耐心看完。没有kafka集群的去我主页找–>第一步：首先导入pom依赖 第二步：修改spring boot配置文件 第三步：我们建立一个测试类，来认识如何使用生产者 我们在服务器端开一个消费者，消费test主题的消息，集群地址改你自己的 我们运行测试类，看效果 通过效果，我们可以看到数据成功发送第四步：我们要知道spring boot整合的kafka为我们提供了两种可供选择的生产方式，上一步是其一叫做异步发送，
spring接入kafka
weixin_43139183的博客
10-14 885
spring接入kafka
spring 中kafka的基本使用
wodebokecsdn的博客
07-25 2879
springboot中使用kafka，批量消费，到业务处理
spring整合kafka
weixin_66381464的博客
11-14 1564
kafka是一个分布式的基于发布订阅模式的消息队列。
Spring集成Apache Kafka教程
neweastsun的专栏
09-23 2259
前面介绍了发送、接收字符串消息，我们可以发送接收自定义java对象。这选哟配置相应序列化和反序列类。}@Bean// ...}@Bean}@Bean// ...props,}@Bean}}为了反序列化接收的消息，需要给消费者提供自定义MessageConverter.在后台，MessageConverter依赖于Jackson2JavaTypeMapper。我们还需要提供反向映射信息。
最简单的kafka接入方式(kafka配置),kafka整合Spring
在路上
06-04 3843
完整的记录了kafka与Springboot的整合过程,并对kafka常用配置进行了说明
spring-kafka整合
qq_34810124的博客
10-19 9791
springboot-kafka
spring框架kafka
08-19
Spring框架与Kafka的集成可以通过Spring Kafka来实现。Spring Kafka是Spring对Kafka的封装，提供了与Kafka交互的简单易用的API。 要使用Spring Kafka，首先需要在项目的依赖中添加相关的Maven或Gradle依赖。例如，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值