Flink系列：State状态使用方法

最新推荐文章于 2024-06-09 19:39:29 发布
最新推荐文章于 2024-06-09 19:39:29 发布
阅读量8.9k 收藏 1
点赞数
分类专栏： # 【Flink零基础学习】
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/VIP099/article/details/107024433
版权
本文详细介绍了Flink的状态管理和容错机制，重点讲解了State的使用和CheckPoint的创建与恢复过程，同时讨论了flink-conf.yaml配置文件中关于Checkpoint和Savepoint的相关设置，为确保任务在异常时能够恢复提供保障。
摘要由CSDN通过智能技术生成

目录

State和CheckPoint

容错：快照创建与恢复

使用方法 

savepoint

State和CheckPoint

一个Task在处理过程中出现了异常，那么状态State就会丢失。

State指某个具体的 Task/Operator 的状态，State保存在TaskManager内存中，CheckPoint存储在JobManager内存中。
CheckPoint（把State数据持久化存储），表示了Flink Job在一个特定时刻的一份全局状态快照，包含了所有 Task/Operator 的状态。
Flink定期把各个Stream的state快照保存起来，以便出现异常情况时，从最近的一份快照恢复。

容错：快照创建与恢复

Flink通过CheckPoint机制实现对Source中的数据和Task中的State数据进行存储。 

了解本专栏 订阅专栏 解锁全文 超级会员免费看
NIO4444
关注
专栏目录
订阅专栏
Flink系列：State Backend（状态后端）
NIO4444
04-17 418
定义 状态的存储、访问、维护，由一个可插入的组件决定，这个组件就是状态后端（State Backend） 主要作用 本地的状态管理、检查点（checkpoint）状态写入远程存储。 env.setStateBackend(new FsStateBackend("hdfs://checkpoint-xxx/xxxx")) ; 3种类型 MemoryStateBackend FsStateBackend RocksDBStateBackend MemoryStateBack...
Flink 的state管理(1) -Flink SQL的状态清理
weixin_38813363的博客
03-16 3739
Flink 的状态管理Flink SQL实现状态清理 Flink SQL实现状态清理 背景：分组处理产生的结果会作为中间状态存储下来，随着分组key的不断增加，状态自然也就会不断膨胀。但是这些状态数据基本都具有时效性，不必永久保留。例如：topN语法进行去重，重复的数据一般都位于特定的区间内(例如1小时或者1天)，过了这段时间之后，对应的状态就不需要了。随着时间的增长以及key的增加，面临超出存储的风险越来越大。在一些continuous queries的情况下，不得不去限制state的大小。是否去限制s
Flink状态妙用
GOOMHOOM的博客
08-10 717
Flink状态妙用 本文主要介绍福布湿在flink实时流处理中，state使用的一些经验和心得。本文默认围观的大神已经对flink有一定了解，如果围观过程中发现了有疑问的地方，欢迎在评论区留言。 1. 状态的类别 1.1 从数据角度看，flink中的状态分为2种： KeyedState 在按key分区的DataStream中，每个key拥有一个自己的state，换句话说，这个state能得到这个key所有的数据。 结合以上的描述，不难得出以下结论，KeyState只能在KeyedStream上使用。
Flink StateFunction：集成了Flink和FaaS的流处理优点
微信搜：import_bigdata，大数据领域硬核原创作者
10-13 897
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！近日，有状态函数（Statefu...
flink sql设置并行度_Flink状态管理详解：Keyed State和Operator List State深度解析
weixin_39595302的博客
11-30 527
Flink的状态管理机制详解 本文将重点跟大家讲解Flink的状态管理机制，包括状态要解决的问题、Flink几种不同类型的状态、Keyed State和Operator List State的使用方法等。相关代码参见的github：https://github.com/luweizheng/flink-tutorials。图片文字均为原创，转载请联系本专栏。为什么要管理状态有状态的计算是流处理框架...
详解 Flink 的状态管理
最新发布
weixin_44480009的博客
06-09 1316
无状态的流处理：根据每一次当前输入的数据直接转换输出结果的过程，在处理中只需要观察每个输入的独立事件。例如， 将一个字符串类型的数据拆分开作为元组输出或将每个输入的数值加 1 后输出。Flink 中的基本转换算子 (map、filter、flatMap 等) 在计算时不依赖其他数据，所以都属于无状态的算子。有状态的流处理：根据每一次当前输入的数据和一些其他已处理的数据共同转换输出结果的过程，这些其他已处理的数据就称之为状态(state)，状态由任务维护，可以被任务的业务逻辑访问。
Flink系列：数据状态例子
NIO4444
03-25 337
目录 需求 实现 需求 实现了一个简单的计数窗口：我们把元组的第一个元素当作 key，该函数将出现的次数以及总和存储在 “ValueState” 中。 一旦出现次数达到 2，则将平均值发送到下游，并清除状态重新开始。 请注意，我们会为每个不同的 key（元组中第一个元素）保存一个单独的值。 实现 package nio4444.state; import org.apache.flink.api.common.functions.RichFlatMapFunction; imp..
flink系列：使用dashboard的Web UI页面监测任务状态
NIO4444
04-23 3167
Overview选项卡 可以看到： Running Jobs：任务执行数量 Status：执行状态 Duration：运行时间 Total Task Slots：系统总Slots数量 Total Task Managers：系统总Task Managers数量 Available Task Slots：当前还剩Slots数量 DAG选项卡 点击任务所在行，进入DAG页面，该页面可以看到 （上部分）DAG中每个Task的执行并行度、执行顺序（每个SubTa...
Flink系列四：flink的状态管理
yiweiyi329的博客
01-03 1087
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
Flink笔记(二十)：Flink 之 State 状态介绍
01-07
1.State介绍    Flink 架构体系的一大特性是：有状态计算。 有状态计算：任务执行过程中，会存储计算过程中产生的中间结果，并提供后续的 Function 或 算子计算结果使用 状态：任务内部数据（计算数据和元数据属性）的快照。在计算过程中会进行持久化，保存有任务中间计算结果的数据。 2.State作用        1、实时任务每次计算，需要基于上一次计算结果，所以需要通过 State 将任务每次计算的中间结果进行持久化。        2、任务执行出现错误时，需要从成功的检查点（CheckPoint）中，根据 State 数据进行恢复        3、Flink 增量计算、Fa
Flink State实战，写入查询
csdn问鼎
06-22 452
State state是实现flink一次性语义的核心，在1.9之后增加了API来读取state 写State import org.apache.flink.api.common.state.ListState; import org.apache.flink.api.common.state.ListStateDescriptor; import org.apache.flink.api.common.typeinfo.Types; import org.apache.flink.api.java.Da
flink的state方法
xuehuagongzi000的博客
10-31 319
1、默认是500Lms一次checkpoint,watermark周期性生成，默认是200ms 2、失败重启策略 3、如果连续两次温度差值超过10，则报警 package flinkSourse import akka.stream.TLSClientAuth.None import org.apache.flink.api.common.functions.RichFlatMapFunction import org.apache.flink.api.common.restartstra
字节跳动 Flink 状态查询实践与优化
字节跳动技术团队官方博客
07-12 2081
动手点关注干货不迷路????本篇文章介绍了字节跳动在 Flink 状态查询方面所进行的优化，解决了查询 Flink 任务状态时开发成本高及无法查询状态元信息等问题，提出了 State Query on Flink SQL 的解决方案，让用户使用 Flink Batch SQL 就可以快速查询 Flink 任务状态。背景众所周知，Flink 中的 State 保存了算子计算过程...
flink sql状态清理问题
ChengYanan的博客
08-12 2969
备注：本文摘抄与Flink社区邮件列表，是个典型问题，特此记录，Q为提问者，A为解答 Q: 在使用flink sql的过程中遇到如下情况，在配置了如下选项后： val config = tableConfig.getConfiguration() config.setString(“table.exec.mini-batch.enabled”, “true”) config.setString(“table.exec.mini-batch.allow-latency”, “5s”) config.setSt
Flink可查询状态Queryable State:替换你的数据库
javawins的专栏
01-28 1326
　2015年12月雅虎使用生产环境中的真实数据对Spark Streaming、Storm以及Flink等流系统计算引擎做了一项基准测试，并得到了以下的测试结果： 　　我们从上图可以清楚地看到，随着吞吐量的增大，Spark Streaming的延迟也越来越大；而Storm和Flink随着吞吐量的变化延迟波动不是很大。至于为什么这样本文就不详细介绍了。雅虎的流系统基准测试有个明显的问题，就是虽然使...
Flink SQL空闲状态保留时间（idle state retention time）实现原理
LittleMagic's Blog
01-06 5310
前言 如果要列举Flink SQL新手有可能犯的错误，笔者认为其中之一就是忘记设置空闲状态保留时间导致状态爆炸。2021年的第一篇技术文，时间很紧张，聊聊这个简单的话题吧。 为什么要设置 如果我们在数据流上进行分组查询，分组处理产生的结果(不仅仅是聚合结果)会作为中间状态存储下来。随着分组key的不断增加，状态自然也会不断膨胀。但是这些状态数据基本都有时效性，不必永久保留。例如，使用Top-N语法...
Flink官方文档笔记04 从Stateful Functions角度看看Flink
大数据流浪法师的学习笔记与分享
07-23 1599
文章目录Stateful Functions — Event-driven Applications on Apache Flink®Stateful Functions Applications Stateful Functions — Event-driven Applications on Apache Flink® StatefulFunctions 状态函数-运行在Flink上的事件驱动APP Stateful Functions is an API that simplifies buildin
Flink state笔记 和  ProcessFunction补充
qq_31866793的博客
02-09 546
state设置过期 默认过期的不会被清理，清理是在实现checkpoinFunction接口里面的再次调用初始化的时候（触发容错机制的时候）才会被清理。 案例代码： 元组类型 ProcessFunction补充： 计时器就是我设置一个时间为当前时间+3s， 3秒之后会回调onTimer这个方法，方法里面就是我们的业务，可以选择下...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

NIO4444

如果对您有帮助，欢迎打赏支持！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值