Flink如何使用state做缓存

最新推荐文章于 2024-08-29 17:46:06 发布
最新推荐文章于 2024-08-29 17:46:06 发布
阅读量1.6k 收藏 1
点赞数 3
分类专栏： 大数据 文章标签： flink 缓存 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42169168/article/details/120334838
版权

在flink中有state可用用来记录工作状态，进行相关的数据计算，同时状态也是可以用来当做缓存使用的。
使用MapSatate进行数据缓存作为Redis和数据流的中间结果存储。
首先获取flink上下文

RuntimeContext runtimeContext = getRuntimeContext()

其次定义map描述器

//定义描述器
        MapStateDescriptor<String, LbsInfo> lbsInfoState =
                new MapSta
最低0.47元/天 解锁文章
耀霸霸
关注
专栏目录
Flink 实战 - 10.ProcessFunction 使用缓存详解
BITDDD小栈
09-16 1433
Flink 使用 LRUCache 与 GuavaCache 详解。
Flink / Scala 实践 - 11.大规模状态 ValueState 内存实践与优化
BITDDD小栈
09-20 1502
Flink / Scala 大规模状态 ValueState 内存实践与优化。
Flink state缓存测试
fengyu_lc的博客
11-26 3290
Flink state 在实际生产中的应用一、FlinkState的概念1、state分类2、FsStateBackend 和 RocksDBStateBackend 相关配置1） 一、FlinkState的概念 1、state分类 以下对目前广泛使用的三类 state backend 做了区分，其中绿色表示所创建的operator/keyed state backend 是 on-heap 的，黄色则表示是 off-heap 的。 一般而言，在生产中，我们会在 FsStateBackend 和 Rock
Flink优化之--旁路缓存和异步IO
最新发布
datacreating的博客
08-29 890
在异步模式下，单个并行子任务可以连续发送多个请求，按照返回的先后顺序对请求进行处理，发送请求后不需要阻塞式等待，省去了大量的等待时间，大幅提高了流处理效率。默认情况下，在Flink 算子中，单个并行子任务只能以同步方式与外部系统交互：将请求发送到外部存储，IO阻塞，等待请求返回，然后继续发送下一个请求。这就是flink的简单优化，综合来看，旁路缓存和异步IO的引入不仅解决了传统计算中存在的瓶颈问题，还为系统的可扩展性和稳定性提供了坚实的保障。堆缓存，性能更好，效率更高，因为数据访问路径更短。
实时数仓之Flink实现版本维表数据的Redis全局缓存
道可道非常道
05-04 1026
在维度模型中，数据通常被划分为维度和事实两大阵营，而维度通常是渐变(Kimball维度模型领域通常称呼这种维度为缓慢变化维度或者又被称为渐变维度)的，这种场景下，要求我们在维表建模过程中，要更多的考虑维度版本的变化，保存维度变化的维表模型可以方便在ETL和应用过程中可以让事实数据匹配自己对应的维度信息，这种场景在实时数仓构建过程中是比较常见的。通常在维度建模过程中，针对渐变维表建模的方式主要有以下几种方案：Kimball渐变维表类型2(可以认为是方案)技术方案。
【踩坑】Flink state无法过期通知 改用redis缓存过期通知
mmlik8878的博客
06-24 1410
flink版本：1.6.0 项目需求: state过期后需要发送对应消息到kafka 但是发现flink似乎没有函数支持过期通知 更改方案: 运用redis的缓存过期机制 用redis替代Flink state 在Flink任务中启动新线程 监听redis过期事件 收到过期的key时 发送key包含的消息至kafka ...
Flink（20）：Flink之分布式缓存
yang_shibiao的博客
07-11 2092
0. 相关文章链接 1. Flink中分布式缓存概述 Flink提供了一个类似于Hadoop的分布式缓存，让并行运行实例的函数可以在本地访问。 这个功能可以被使用来分享外部静态的数据，例如：机器学习的逻辑回归模型等。 广播变量是将变量分发到各个TaskManager节点的内存上，分布式缓存是将文件缓存到各个TaskManager节点上。 2. 编码步骤 注册一个分布式缓存文件：env.registerCachedFile("hdfs:///path/file", "cachefilename")
Flink入门(5)--Flink的state机制
weixin_38813363的博客
03-03 662
Flink的状态机制状态类型代码实现 状态类型 managed State 和 raw state managed state: 由flink runtime托管，状态是自动存储，自动恢复的，flink在存储管理和持久化上做了一些优化。横向扩展时候，状态能够自动重新分布到多个并行实例上。flink提供常用的数据结构，ListState,MapState raw state: 开发者自己管理，以字节数组存储，用户自定义算子 keyed State: 是keyedstream上的状态，每个key对应自己的状态
Flink之state processor api实践
longlovefilm的博客
11-26 1138
前不久，Flink社区发布了FLink 1.9版本，在其中包含了一个很重要的新特性，即state processor api，这个框架支持对checkpoint和savepoint进行操作，包括读取、变更、写入等等。 savepoint的可操作带来了很多的可能性： 作业迁移 　　1.跨类型作业，假如有一个storm作业，将状态缓存在外部系统，希望更好的利用flink的状态机制来增加作业的稳定和减少数据的延迟，但如果直接迁移，必然面临状态的丢失，这时，可以将外部系统的状态转换为flink作业的savepo
Flink实战案例（三十一）：状态管理（二）自定义键控状态（一）ValueState
微信搜：import_bigdata，大数据领域硬核原创作者
01-21 894
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 ValueState[T]保存单个的值，值的类型为T。 get操作: ValueState.value() set操作: ValueState.update(value: T) 实例一 scala version val sensorData: DataStream[SensorReading] = ... val keyedData: KeyedStream[SensorR.
Flink系列-7、Flink DataSet—Sink&广播变量&分布式缓存&累加器
不积跬步无以至千里，不积小流无以成江河
04-14 575
Flink系列-7、Flink DataSet—Sink&广播变量&分布式缓存&累加器
flink真实案例-读取kafka下沉redis-中间逻辑处理带原始数据.zip
12-06
java语言实现的flink真实开发案例，从kafka获取数据，中间有逻辑处理，最终下沉到redis中，封装有内部方法，方便根据自己的情况使用。 -- 要求：jdk1.8 ,kafka ,redis 资源珍贵，喜欢的话可以下载。
Flink笔记(二十四)：Flink 数据 保存 Redis(自定义Redis Sink)
01-07
本文主要来介绍 Flink 读取 Kafka数据，并实时下沉(Sink)数据到 Redis 的过程。        通过如下链接：Flink官方文档，我们知道数据保存到 Redis 的容错机制是 at least once。所以我们通过幂等操作，使用新数据覆盖旧数据的方式，以此来实现 exactly-once 。 1.代码部分 1.1 config.properties配置文件 bootstrap.server=192.168.204.210:9092,192.168.204.211:9092,192.168.204.212:9092 group.id=testGroup auto.offse
大数据技术：7-Flink的分布式缓存
yuhun001的博客
05-22 252
分布式缓存 Flink提供了一个分布式缓存，类似于hadoop，可以使用户在并行函数中很方便的读取本地文件，并把它放在taskmanager节点中，防止task重复拉取。 此缓存的工作机制如下：程序注册一个文件或者目录(本地或者远程文件系统，例如hdfs或者s3)，通过ExecutionEnvironment注册缓存文件并为它起一个名称。 当程序执行，Flink自动将文件或者目录复制到所有tas...
Flink分布式缓存
架构师老狼
07-09 351
分布式缓存 Flink提供了一个分布式缓存，类似于hadoop，可以使用户在并行函数中很方便的读取本地文件，并把它放在taskmanager节点中，防止task重复拉取。 此缓存的工作机制如下：程序注册一个文件或者目录(本地或者远程文件系统，例如hdfs或者s3)，通过ExecutionEnvironment注册缓存文件并为它起一个名称。 当程序执行，Flink自动将文件或者目录复制到所有taskmanager节点的本地文件系统，仅会执行一次。用户可以通过这个指定的名称查找文件或者目录，然后从taskma
Flink分布式缓存Distributed Cache
weixin_30660027的博客
05-21 233
1 分布式缓存 Flink提供了一个分布式缓存，类似于hadoop，可以使用户在并行函数中很方便的读取本地文件，并把它放在taskmanager节点中，防止task重复拉取。 此缓存的工作机制如下：程序注册一个文件或者目录(本地或者远程文件系统，例如hdfs或者s3)，通过ExecutionEnvironment注册缓存文件并为它起一个名称。当程序执行，Flink自动将文件或者目录复制到所...
Flink：从业务实践角度聊聊状态缓存和内存管理
maoyuanming0806的博客
01-05 3434
本文就是记录些实践结论，不会做深入原理和源码级说明，因为这些，不如去看源码和官方文档，至少官方文档介绍的非常详细，比某些博文缺胳膊少腿、粘贴复制强多了，据我所知，市场上很多关于Flink的参考书大多直接翻译的官方文档 官方文档链接附上：https://www.bookstack.cn/read/flink-1.11.1-zh/collapse-2 如上是中文翻译版的文档，也有英文版选择和不同版本选择，自行选用 本文基于Flink V1.11 文章目录Flink状态缓存StateFlink状态缓存Flin.
Flink异步IO查询Hbase数据，采用旁路缓存redis
qq_50408152的博客
08-01 1236
Flink异步IO查询Hbase数据，采用旁路缓存redis。
(三)flink的DataSet:分布式缓存
张不帅
01-04 502
Flink提供了类似于Apache Hadoop的分布式缓存，可以让并行用户函数实例本地化的访问文件。此功能可用 于共享包含静态外部数据(如字典或机器学习的回归模型)的文件 工作方式如下：程序将本地或远程文件系统(如HDFS或S3)的文件或目录作为缓存文件注册到 ExecutionEnvironment中的特定名称下。当程序执行时，Flink自动将文件或目录复制到所有worker的本地文 件系统。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值