Flink state笔记 和  ProcessFunction补充

最新推荐文章于 2023-04-28 13:53:44 发布
最新推荐文章于 2023-04-28 13:53:44 发布
阅读量537 收藏 1
点赞数
分类专栏： Flink 优化 文章标签： state 设置过期  ProcessFunction补充
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31866793/article/details/104230570
版权
本文介绍了Flink中state的过期清理机制，指出默认不会自动清理，而是在 checkpoint 时通过checkpoinFunction接口触发。同时，文章详细讲解了ProcessFunction中的计时器功能，如何设置一个时间并在到达设定时间后执行业务逻辑，强调每个key仅维护一个计时器，重复设置会被覆盖，并提供了相应的代码示例。
摘要由CSDN通过智能技术生成

state 设置过期

 

默认过期的不会被清理，清理是在实现checkpoinFunction接口里面的 再次调用初始化的时候（触发容错机制的时候）才会被清理。

 

案例代码：

 

最低0.47元/天 解锁文章
黄瓜炖啤酒鸭
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flink系列：State状态使用方法
NIO4444
06-29 8949
目录 State和CheckPoint 容错：快照创建与恢复 使用方法 flink-conf.yaml savepoint State和CheckPoint 一个Task在处理过程中出现了异常，那么状态State就会丢失。 State指某个具体的 Task/Operator 的状态，State保存在TaskManager内存中，CheckPoint存储在JobManager内存中。 CheckPoint（把State数据持久化存储），表示了Flink Job在一个特定时刻的一份..
Flink StateFunction：集成了Flink和FaaS的流处理优点
微信搜：import_bigdata，大数据领域硬核原创作者
10-13 880
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！近日，有状态函数（Statefu...
flink的state方法
xuehuagongzi000的博客
10-31 315
1、默认是500Lms一次checkpoint,watermark周期性生成，默认是200ms 2、失败重启策略 3、如果连续两次温度差值超过10，则报警 package flinkSourse import akka.stream.TLSClientAuth.None import org.apache.flink.api.common.functions.RichFlatMapFunction import org.apache.flink.api.common.restartstra
Flink官方文档笔记04 从Stateful Functions角度看看Flink
大数据流浪法师的学习笔记与分享
07-23 1578
文章目录Stateful Functions — Event-driven Applications on Apache Flink®Stateful Functions Applications Stateful Functions — Event-driven Applications on Apache Flink® StatefulFunctions 状态函数-运行在Flink上的事件驱动APP Stateful Functions is an API that simplifies buildin
flink中interval join的flinkSQL实现以及状态的TTL过期时间
weixin_42965737的博客
09-07 2655
flink的interval join 、flinkSQL实现，以及state的 TTL
Flink State体系剖析以及案例实践
最新发布
01-13
Flink State体系剖析以及案例实践，State按照是否有Key划分KeyedState和OperatorState两种。按照数据结构不同，flink定义了多种state，分别应用于不同的场景，具体实现如下：ValueState、ListState、MapState、...
Flink架构设计剖析,流State的讲解和练习实战
12-26
Flink架构设计剖析和流State讲解 Flink架构设计剖析和流State是大数据处理中非常重要的概念，本文将从Flink架构设计的角度，对流State进行剖析，并通过实践示例，展示Flink State的应用。 Flink架构设计剖析 ...
Flink笔记(二十)：Flink 之 State 状态介绍
01-07
状态：任务内部数据（计算数据和元数据属性）的快照。在计算过程中会进行持久化，保存有任务中间计算结果的数据。 2.State作用  1、实时任务每次计算，需要基于上一次计算结果，所以需要通过 State 将任务每次计算...
Flink State 最佳实践.pdf
03-21
在 Flink 中，Operator State 和 Keyed State 都可以通过 snapshot 和 restore 来实现状态的保存和恢复。Operator State 的 snapshot 可以将状态信息保存到文件中，而 Keyed State 的 snapshot 可以将状态信息保存到...
Flink学习笔记.docx
05-07
Flink 学习笔记 Apache Flink 是近年来越来越流行的一款开源大数据计算引擎，它同时支持了批处理和流处理。Flink 的主要特点是它可以实时处理大规模数据，并且可以与其他大数据处理工具集成，例如 Hadoop、Spark 等...
Flink-State-TTL 状态过期时间设置
热门推荐
胖虎儿的博客
06-09 1万+
Flink-State-TTL 状态过期时间设置
flink状态设置过期时间
qq_33009107的博客
11-19 2337
//设置2分钟过期 val ttlConfig = StateTtlConfig .newBuilder(Time.minutes(2)) .setUpdateType(StateTtlConfig.UpdateType.OnCreateAndWrite) .setStateVisibility(StateTtlConfig.StateVisibility.NeverReturnExpired) .build val stateDesc...
Flink SQL regular join 如何设置状态过期
修破立生
01-20 1475
在Flink SQL中，使用多流 regular join会造成状态越来越大， 有内存溢出的风险，那么如何设置状态过期呢？ 本文介绍了在代码中添加配置的方式实现状态过期
Flink DataStream任务中 map state(键控状态)过期清理策略
qq_41067796的博客
04-28 735
以上三种过期清理策略,可以单独使用,也可以组合使用。一般来说,组合使用定期清理策略+水印策略或OnCreateAndWrite策略可以较好的清理过期状态,防止状态数据无限增长。在Flink DataStream任务中,mapstate(键控状态)需要过期清理策略来清理过期的状态数据,否则状态数据会无限增长。
Flink实例：状态管理State 过期时间TTL
lbg20211023的博客
08-29 3210
一旦设置了 TTL，那么如果上次访问的时间戳 + TTL 超过了当前时间，则表明状态过期了（这是一个简化的说法，严谨的定义请参考org.apache.flink.runtime.state.ttl.TtlUtils类中关于 expired 的实现）。对于 RocksDB 的状态清理，则是通过 JNI 来调用 C++ 语言编写的 FlinkCompactionFilter 来实现，底层是通过 RocksDB 提供的后台 Compaction 操作来实现对失效状态过滤的。如果启用，则每次状态访问都将触发它。..
Flink处理函数实战之一：深入了解ProcessFunction的状态(Flink-1.10)
程序员欣宸的博客
05-10 1万+
深入了解ProcessFunction的状态操作
Flink的Process Function(低层次操作)和状态
xiaopeigen的专栏
08-31 811
Process Function(过程函数) ProcessFunction是一个低层次的流处理操作，允许返回所有(无环的)流程序的基础构建模块: 　　1、事件(event)(流元素) 　　2、状态(state)(容错性，一致性，仅在keyed stream中) 　　3、定时器(timers)(event time和processing time， 仅在keyed stream中) ProcessFunction可以认为是能够访问到keyed state和timers的FlatMapFunction，输
Flink ProcessFunction 使用总结
congge_study的博客
03-26 6383
Flink ProcessFunction 使用总结
Flink1.8.0重大更新-Flink中State的自动清除详解
微信搜：import_bigdata，大数据领域硬核原创作者
05-26 4949
导读：基于时间的状态访问和对应用程序状态大小进行控制是有状态流处理领域中的常见问题和挑战。Flink的1.8.0版本通过添加对过期状态对象的连续后台清理的支持，显著改进了...
Apache Flink State Processor API 介绍与应用详解
State Processor API 是 Apache Flink 的一部分，主要用于处理状态和 checkpoint 的管理。下面是对 State Processor API 的详细介绍和演示。 一、State Processor API 概述 State Processor API 是 Apache Flink ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值