【踩坑】Flink state无法过期通知改用redis缓存过期通知

最新推荐文章于 2023-01-03 18:13:02 发布

mmlik8878

最新推荐文章于 2023-01-03 18:13:02 发布

阅读量1.3k

点赞数

分类专栏： Flink Redis 文章标签： flink

本文链接：https://blog.csdn.net/mmlik8878/article/details/106944852

版权

Redis 同时被 2 个专栏收录

2 篇文章 0 订阅

订阅专栏

Flink

1 篇文章 0 订阅

订阅专栏

flink版本：1.6.0

项目需求: state过期后需要发送对应消息到kafka 但是发现flink似乎没有函数支持过期通知

更改方案: 运用redis的缓存过期机制用redis替代Flink state 在Flink任务中启动新线程监听redis过期事件收到过期的key时发送key包含的消息至kafka

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

mmlik8878

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

Flink实战实例（十）: redis 读写

微信搜：import_bigdata，大数据领域硬核原创作者

01-19

2844

声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。《2021年最新版大数据面试题全面开启更新》 1 工程目录 pom.xml <dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> &lt...

Flink笔记(二十四)：Flink 数据保存 Redis(自定义Redis Sink)

01-07

本文主要来介绍 Flink 读取 Kafka数据，并实时下沉(Sink)数据到 Redis 的过程。通过如下链接：Flink官方文档，我们知道数据保存到 Redis 的容错机制是 at least once。所以我们通过幂等操作，使用新数据覆盖旧数据的方式，以此来实现 exactly-once 。 1.代码部分 1.1 config.properties配置文件 bootstrap.server=192.168.204.210:9092,192.168.204.211:9092,192.168.204.212:9092 group.id=testGroup auto.offse

参与评论您还未登录，请先登录后发表或查看评论

Flink state缓存测试

fengyu_lc的博客

11-26

3280

Flink state 在实际生产中的应用一、FlinkState的概念1、state分类2、FsStateBackend 和 RocksDBStateBackend 相关配置1）一、FlinkState的概念 1、state分类以下对目前广泛使用的三类 state backend 做了区分，其中绿色表示所创建的operator/keyed state backend 是 on-heap 的，黄色则表示是 off-heap 的。一般而言，在生产中，我们会在 FsStateBackend 和 Rock

通过Flink实现Cassandra数据同步到redis缓存实战之一：数据同步任务的实现

marlinlm的博客

07-06

1059

Cassandra是一种适用于写多读少场景的分布式数据库。当我们需要将cassandra中的数据进行大量读取操作的时候，我们不可以将大量的读取操作直接打到cassandra数据库，而是需要将cassandra中的数据同步到redis，然后从redis读取。这样可以大大提高系统的效率。本文提供一种在cassandra和redis之间进行数据同步的实战操作，希望对读者有所帮助。

Flink如何使用state做缓存

耀哥的博客

09-16

1636

在flink中有state可用用来记录工作状态，进行相关的数据计算，同时状态也是可以用来当做缓存使用的。使用MapSatate进行数据缓存作为Redis和数据流的中间结果存储。首先获取flink上下文 RuntimeContext runtimeContext = getRuntimeContext() 其次定义map描述器 //定义描述器 MapStateDescriptor<String, LbsInfo> lbsInfoState =

Flink-State

胖虎儿的博客

05-29

6467

什么是有状态计算？Flink如何做有状态计算，如何高效的进行状态管理？

redis过期通知

热门推荐

laomoluhaitao的专栏

11-16

1万+

redis过期通知

Flink1.9系列-connnector-redis篇

01-07

实时计算流程框架其实比较简单，目前比较流行的也就是kafka+flink+redis或者kafka+flink+hbase了前面kafka+flink的流程稍后会专门来写，本篇主要写flink sink redis技术 1. Redis数据结构 Redis的数据结构常用的...

flink-connector-redis-2.10-1.1.5-API文档-中文版.zip

07-14

赠送jar包：flink-connector-redis_2.10-1.1.5.jar；赠送原API文档：flink-connector-redis_2.10-1.1.5-javadoc.jar；赠送源代码：flink-connector-redis_2.10-1.1.5-sources.jar；赠送Maven依赖信息文件：flink-...

Flink（63）：Flink中通用RedisUtil工具类

yang_shibiao的博客

01-03

2042

在使用SpringBoot后端开发中，我们如果需要对Redis进行增删查改，可以很方便的使用RedisTemplate或者StringRedisTemplate等对象进行操作。但是在大数据中，如果想要对Redis进行操作，就没有那么方便，特别当flink新一代流式计算框架兴起后，没有直接读取和写入Redis的连接源，不管是开始的时候从Redis中获取数据，还是在中间需要读取维度数据，或者最后将数据写入到Redis，都不方便。此时一个较为方便的工具类就能很方便的使用，能达到节省开发时间、减小开发难度等目的。

flink真实案例-读取kafka下沉redis-中间逻辑处理带原始数据.zip

12-06

java语言实现的flink真实开发案例，从kafka获取数据，中间有逻辑处理，最终下沉到redis中，封装有内部方法，方便根据自己的情况使用。 -- 要求：jdk1.8 ,kafka ,redis 资源珍贵，喜欢的话可以下载。

Flink实例：状态管理State 过期时间TTL

lbg20211023的博客

08-29

3255

一旦设置了 TTL，那么如果上次访问的时间戳 + TTL 超过了当前时间，则表明状态过期了（这是一个简化的说法，严谨的定义请参考org.apache.flink.runtime.state.ttl.TtlUtils类中关于 expired 的实现）。对于 RocksDB 的状态清理，则是通过 JNI 来调用 C++ 语言编写的 FlinkCompactionFilter 来实现，底层是通过 RocksDB 提供的后台 Compaction 操作来实现对失效状态过滤的。如果启用，则每次状态访问都将触发它。..

Flink DataStream State(状态)

Widsom的博客

07-01

3230

Flink DataStream State(状态) 一、State（状态）的种类 State有2类：Keyed State和Operator State。 Keyed State：与keys相关的状态，仅仅用于Keyed Stream的Operator(算子)的Function。 Operator State: Non-Keyed State，每个operator state都绑定到一个...

Redis监控利器---Redis State

通往精英的成长之路

11-21

1375

【前言】在之前的博文《Redis百万级别数据迁移》中分享我们系统为降低服务器成本，从亚马逊云迁至阿里云的一次生产迁移过程中Redis部分迁移；去年迁移Redis时数据量500w+；最近在研究如何监控Redis的性能，Redis的Key命中率如何那？皇天不负有心人，找到一款Redis监控神器---Redis State；【Redis监控神神器】一、本地运行...

用java和scala实现一个简单Flink的分布式缓存（Distributed Cache）

muyingmiao的专栏

10-04

347

java代码 package com.wxx.flink.java.distribute; import org.apache.commons.io.FileUtils; import org.apache.flink.api.common.functions.RichMapFunction; import org.apache.flink.api.java.ExecutionEnviron...

Flink教程(9)-Flink状态后端、容错与一致性

鸟哥哥的专栏

08-25

443

Flink状态后端。Flink容错，Flink一致性。在前文中我们讲述了Flink的状态管理以及状态编程。所举的例子中，State都是基于内存存储的。实际生产中，如果状态一直都保存在内存，那么系统宕机或其它问题引起的系统重启时，状态数据就会丢失，无法知晓数据处理的进度。因此需要一种类似"定时存盘"的机制来保证数据流处理过程中的容错性。在Flink中，状态的存储、访问以及维护都是由称之为状态后端(state backends)的组件决定。

Apache Flink 零基础入门（十四）Flink 分布式缓存

vincent_duan的专栏

09-10

287

Apache Flink 提供了一个分布式缓存，类似于Hadoop，用户可以并行获取数据。通过注册一个文件或者文件夹到本地或者远程HDFS等，在getExecutionEnvironment中指定一个名字就可以。当应用程序执行时，Flink会自动拷贝这个文件或者文件夹到所有worker进程中。用户的Function通过指定的名字可以查找这个文件或者文件夹中的内容。 Scala def m...

Flink Redis Sink用法与支持过期时间的改进

LittleMagic's Blog

10-12

3010

Flink默认提供了很多开箱即用的连接器，比如与Kafka、RabbitMQ、HDFS、ElasticSearch等对接的连接器。还有一些不那么常用的连接器则由Apache Bahir项目（官网很简陋，见这里）来提供，其中就包含Redis Sink。这个项目的文档有点缺乏，本文先记录一下用法。引入如下Maven依赖。目前bahir-flink项目比较停滞，最新版本是1.1-SNA...

如何在flink中设置redis中的数据过期时间

【踩坑】Flink state无法过期通知 改用redis缓存过期通知

【踩坑】Flink state无法过期通知改用redis缓存过期通知