springboot整合kafka,实现消费者使用redis作为偏移量存储的库

最新推荐文章于 2023-02-24 17:27:28 发布
最新推荐文章于 2023-02-24 17:27:28 发布
阅读量1.3k 收藏
点赞数
分类专栏： # Kafka # java 文章标签： spring boot kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lck_csdn/article/details/122287424
版权
java 同时被 2 个专栏收录
51 篇文章 2 订阅
订阅专栏
Kafka
15 篇文章 0 订阅
订阅专栏
//承续缘_纪录片
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
手动维护kafka偏移量offset存储在Redis中代码实现
qq_38052208的博客
04-13 1351
/* SparkStreaming基于redis来管理整合kafka过程中涉及到的offset提交问题 思路： 1°、可能没有读取到数据，从源头来开始读取数据 2°、读取到了数据，从指定offset位置开始读取数据 2、对读取的kafka数据，进行业务处理 3、提交offset到redis */ object _01Streamin...
spring boot RedisMQ——使用RedisTemplate实现生产者消费者模式
weixin_30512785的博客
08-09 1222
1.配置redis 在application.properties文件中加入redis的配置信息 #redis gmall.redis.host=172.16.19.259 gmall.redis.port=6379 gmall.redis.pass=Gworld2017 gmall.redis.database=7 gmall.redis.timeout=5000 配置s...
kafka保存偏移量到redis,启动时根据偏移量进行相关略修正
weixin_45101742的博客
09-08 992
【kafka提交offset】kafka保存偏移量到redis,启动时根据偏移量进行相关略修正
将偏移量保存到Redis——代码
m0_67106804的博客
06-18 259
使用sparkStreaming接入数据源kakfa,使用redis管理读取消费者偏移量
spring +redis +kafka+zookeeper讲解
your_start的博客
11-14 616
代理是一种常用的设计模式，其目的就是为其他对象提供一个代理以控制对某个对象的访问。代理类负责为 委托类预处理消息，过滤消息并转发消息，以及进行消息被委托类执行后的后续处理。 静态代理：由程序员创建代理类或特定工具自动生成源代码再对其编译。在程序运行前代理类的.class文件就已经存在了。 动态代理：在程序运行时运用反射机制动态创建而成。 AOP(面向切面编程)的基本原理： 比如日志系统...
SpringBoot集成redis集群 实现redis的消息队列消费者-生产者模式，订阅者发布者模式
Vincent2014Linux
05-29 2411
       一般来说，消息队列有两种场景，一种是发布者订阅者模式，一种是生产者消费者模式。利用redis这两种场景的消息队列都能够实现。 定义： 生产者消费者模式 ：生产者生产消息放到队列里，多个消费者同时监听队列，谁先抢到消息谁就会从队列中取走消息；即对于每个消息只能被最多一个消费者拥有。 发布者订阅者模式：发布者生产消息放到队列里，多个监听队列的消...
如何在一周内使用Kafka+Redis构建分布式排行榜系统？ - Aritra、
极道Jdon的技术博客
11-19 368
这是 T20 世界杯赛季，我们想为我们的用户建立一个测验系统，用于短期预言预测。在比赛开始时要求用户预测场景，最后，主持人将提交所有预测场景中实际发生的情况。评分将根据谁回答正确以及回答所花费的时间进行。鉴于我们系统的规模，我们估计可能有 5 万人参与测验。所以我们的目标是为100 万用户构建。这大致为我们提供了 20k 的目标 qps。我的经验法则是，对于一个新系统，总是为预期用户数量的两倍设计系统。因此，如果您最终拥有更多用户，您的系统不会无法扩展。而且用户通...
springboot整合kafka实现生产者和消费者
06-01
在本文中，我们将深入探讨如何使用Spring Boot整合Apache Kafka，以构建一个生产者和消费者的示例。Apache Kafka是一个分布式流处理平台，常被用于构建实时数据管道和流应用。Spring Boot简化了Java开发，提供了开箱...
springboot-kafka:springboot整合kafka实现消息的发送与消费学习
05-13
在本文中，我们将深入探讨如何使用Spring Boot与Apache Kafka进行集成，从而实现在Java应用程序中发送和接收消息。Spring Boot简化了Kafka的配置，并提供了强大的API来处理消息队列。我们将从以下几个方面来详细讲解...
SpringBoot 整合Kafka实现消息的发送和接收
最新发布
08-27
在本文中，我们将深入探讨如何将SpringBoot与Apache Kafka整合，以实现在应用程序中的消息发送和接收。Apache Kafka是一款高性能的分布式消息中间件，而SpringBoot则是简化Java应用开发的框架。结合两者，我们可以...
SpringBoot集成Redis，Webservice，kafka，quartz，mybatis例子
08-22
最近学习springboot吧自己工作中需要用到的工具都做了集成例子。其中包括mybatis，cfx的webservice，定时器quartz，消息队列kafka以及redis其中redis包含了三种连接方式（单机模式，集群cluster，哨兵模式），给大家做一个参考 希望能让别人学习时少走弯路
SpringBoot整合kafka，代码简洁，自动分配分区和指定分区消费(亲测可用)
04-24
SpringBoot以其轻量级、快速开发的特性，深受开发者喜爱，而Kafka作为一个高效的消息中间件，广泛应用于实时数据处理和流处理场景。 首先，我们需要在SpringBoot项目中引入Kafka的相关依赖。在`pom.xml`文件中，...
springboot集成kafka实战项目，kafka生产者、消费者、创建topic，指定消费分区
01-04
在本项目中，我们将深入探讨如何使用Spring Boot与Kafka进行集成，实现一个实战项目，包括Kafka的生产者、消费者以及如何创建Topic，并且特别关注指定消费分区这一高级特性。Kafka是一款高吞吐量的分布式消息系统，...
如何依赖spring-kafka获取当前偏移量、最高日志位移、消息堆积量
pgz_lq的博客
01-22 1609
直接上代码，简单粗暴 package com.util; import lombok.extern.slf4j.Slf4j; import org.apache.kafka.clients.consumer.Consumer; import org.apache.kafka.common.PartitionInfo; import org.apache.kafka.common.TopicPartition; import org.springframework.beans.factory.annot
java 从redis消费者_java版spring cloud+spring boot+redis多租户社交电子商务平台-服务消费者（rest+ribbon）...
weixin_42144086的博客
02-24 157
社交电商平台源码请加企鹅求求：一零三八七七四六二六。在微服务架构中，业务都会被拆分成一个独立的服务，服务与服务的通讯是基于http restful的。Spring cloud有两种服务调用方式，一种是ribbon+restTemplate，另一种是feign。在这一篇文章首先讲解下基于ribbon+rest。一、ribbon简介ribbon是一个负载均衡客户端，可以很好的控制htt和tcp的一些行...
springboot+redis实现消息队列
Meiko记录
11-03 903
涉及spring和springboot使用的部分 RedisTemplate序列化的配置，以及api相关的应用 fastjson的JSONObject等相关使用 InitializingBean,ApplicationContextAware是使用，以及其实现接口的作用 线程池相关的问题学习 模板模式的抽象能力 代码 pom.xml文件 <modelVersion>4.0.0</modelVersion> <parent> .
kafka偏移量利用redis来管理
weixin_43020373的博客
12-27 1068
import Utils.RedisOffset import day09.Jpools import org.apache.kafka.common.serialization.StringDeserializer import org.apache.spark.SparkConf import org.apache.spark.streaming.kafka010.{ConsumerStrat...
springboot整合redis和kafka,分析并实现高并发秒杀业务
右手边的流年
04-29 4188
文章目录1.前言2.秒杀业务分析3.解决方案3.1 拦截部分请求3.2 引入缓存3.3 超卖问题4.秒杀逻辑简单实现及优化4.1 项目搭建4.2 秒杀代码4.2.1 创建实体类4.2.2 创建dao4.2.3 业务逻辑层4.2.4 秒杀接口4.2.4.1 数据库层面处理超卖问题4.2.4.2 加锁4.2.5 秒杀接口优化4.2.6 用户不能重复秒杀问题4.2.7 秒杀接口订单异步处理优化 1.前言...
IDEA中Java项目创建lib目录(添加依赖jar包代替maven依赖)
lck_csdn的博客
02-24 9776
IDEA中Java项目创建lib目录(添加依赖jar包代替maven依赖)
flink中自定义CheckpointedFunction，以实现将读取kafka时的偏移量存储到redis
06-10
好的，下面是一个简单的示例，展示了如何在 Flink 中实现一个支持状态检查点的 Kafka 消费者，并将消费到的偏移量保存到 Redis 中： ```java public class KafkaConsumerFunction implements SourceFunction<String>, CheckpointedFunction { private transient KafkaConsumer<String, String> kafkaConsumer; private transient Jedis jedis; private final String kafkaTopic; private final String kafkaBootstrapServers; private final String redisHost; private final int redisPort; private long lastCommittedOffset = 0L; private transient ListState<Long> checkpointedOffset; public KafkaConsumerFunction(String kafkaTopic, String kafkaBootstrapServers, String redisHost, int redisPort) { this.kafkaTopic = kafkaTopic; this.kafkaBootstrapServers = kafkaBootstrapServers; this.redisHost = redisHost; this.redisPort = redisPort; } @Override public void run(SourceContext<String> ctx) throws Exception { kafkaConsumer = new KafkaConsumer<>(createConsumerProperties()); kafkaConsumer.subscribe(Collections.singletonList(kafkaTopic)); jedis = new Jedis(redisHost, redisPort); while (true) { ConsumerRecords<String, String> records = kafkaConsumer.poll(Duration.ofMillis(100)); for (ConsumerRecord<String, String> record : records) { ctx.collect(record.value()); lastCommittedOffset = record.offset(); } commitOffsetToRedis(); } } private Properties createConsumerProperties() { Properties props = new Properties(); props.put("bootstrap.servers", kafkaBootstrapServers); props.put("group.id", "flink-kafka-consumer"); props.put("auto.offset.reset", "earliest"); props.put("key.deserializer", StringDeserializer.class.getName()); props.put("value.deserializer", StringDeserializer.class.getName()); return props; } private void commitOffsetToRedis() { jedis.set("kafka-offset", String.valueOf(lastCommittedOffset)); } @Override public void cancel() { kafkaConsumer.close(); } @Override public void snapshotState(FunctionSnapshotContext context) throws Exception { checkpointedOffset.clear(); checkpointedOffset.add(lastCommittedOffset); } @Override public void initializeState(FunctionInitializationContext context) throws Exception { ListStateDescriptor<Long> descriptor = new ListStateDescriptor<>("kafka-offset", Long.class); checkpointedOffset = context.getOperatorStateStore().getListState(descriptor); if (context.isRestored()) { for (Long offset : checkpointedOffset.get()) { lastCommittedOffset = offset; } } } } ``` 在这个示例中，我们实现了一个 Kafka 消费者，每次从 Kafka 中消费一条消息时，将消息的偏移量保存到 `lastCommittedOffset` 变量中，并将 `lastCommittedOffset` 变量的值保存到 Redis 中。在 `snapshotState()` 方法中，我们将 `lastCommittedOffset` 的值保存到 `ListState` 中，这个 `ListState` 会被 Flink 自动保存到检查点中。在 `initializeState()` 方法中，我们从 `ListState` 中恢复之前保存的 `lastCommittedOffset` 的值，如果当前任务是从检查点中恢复的，则将 `lastCommittedOffset` 的值设置为之前保存的值。这样，在任务重新启动时，我们就可以从上一次保存的偏移量的位置开始消费 Kafka 中的消息了。需要注意的是，这个示例中的 Redis 客户端使用的是 Jedis，如果你使用的是 Redisson 或者其他的 Redis 客户端，需要根据具体的客户端文档来实现 Redis 的操作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值