Flink State 笔记帖

已于 2023-04-19 10:19:28 修改
阅读量163 收藏
点赞数
文章标签： flink 大数据
于 2023-04-19 10:19:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/adorechen/article/details/130237403
版权

1 State 分类

Operator State

主要用在Source、Sink等没有key分布的位置。

 
 

Keyed State

用在keyBy后的KeyedStream里，每个存储状态与一个key想关联。

ValueState

ListState

MapState

ReducingState

AggeratingState 

2 State Backend

StateBackend分类

HashMapStateBackend

数据保存在内存中，适合中小数据量的state存储，Object 不可重用；

EmbeddedRocksDBStateBackend

数据保存在当地文件系统中，适合大量数据的state存储，Object可以重用。

CheckpointStorage分类

jobmanager

checkpoint 保存在jobmanager的内存中；

filesystem

checkpoint 保存在分布式文件系统中。

参考：

Stateful Stream Processing | Apache Flink

Working with State | Apache Flink

State Backends | Apache Flink

Flink 之 State - 简书

Checkpoint的核心流程（37） - 墨天轮

走向自由
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Flink State体系剖析以及案例实践
01-13
Flink State体系剖析以及案例实践，State按照是否有Key划分KeyedState和OperatorState两种。按照数据结构不同，flink定义了多种state，分别应用于不同的场景，具体实现如下：ValueState、ListState、MapState、...
Flink state笔记 和  ProcessFunction补充
qq_31866793的博客
02-09 535
state设置过期 默认过期的不会被清理，清理是在实现checkpoinFunction接口里面的再次调用初始化的时候（触发容错机制的时候）才会被清理。 案例代码： 元组类型 ProcessFunction补充： 计时器就是我设置一个时间为当前时间+3s， 3秒之后会回调onTimer这个方法，方法里面就是我们的业务，可以选择下...
Flink学习笔记（十一）：flink KeyedState运用
小白的专栏
12-24 1330
在前面的Flink学习笔记（八）：flink热词统计中介绍了 sum算子进行数据统计，那么有没有别的方法实现呢。本篇记录下另一种实现方式，采用state状态进行统计计算。 前文以及介绍了背景，这直接上代码 获取数据流，随机模拟搜索的水果 统计结构：Tuple2<String, Integer> 水果名称，搜索次数 通过 keyBy(0) 聚合相同名称的水果 通过ValueState保存中间状态，进行数据累计 public class TestKeyedState { private st
Flink学习笔记（四）State管理与恢复
zhang09090606的博客
03-24 944
Flink中CheckPoin（检查点）t是Flink实现容错机制的核心功能，它可以在任务执行过程中定期保存任务的状态信息，以便在任务出现故障或程序异常终止时，能够使用最近一次的检查点进行恢复，从而保证数据的一致性和可靠性。Checkpoint的实现方式可以是在内存中创建一个快照，也可以将快照保存到外部存储系统中。Checkpoint的使用可以大大减少任务执行过程中数据的丢失和重复处理，提高任务的可靠性和稳定性。
Flink学习笔记（十二）：Flink State生命周期 - Time-To-Live (TTL)
小白的专栏
12-29 2312
在前面的 Flink学习笔记（十一）：flink KeyedState运用介绍了如何使用state进行sum操作。但是数据流通常是长时间运行，那么存在的状态将越来越多，如何解决这个问题呢？ 1、Flink State Time-To-Live (TTL) Flink提供了StateTtlConfig机制进行处理。首先我们看下提供的策略类型： TTL 刷新策略（默认OnCreateAndWrite） 策略类型 描述 StateTtlConfig.UpdateType.Disabled 禁用
Flink学习笔记.docx
05-07
flink学习笔记 一个通俗易懂的概念: Apache Flink 是近年来越来越流行的一款开源大数据计算引擎，它同时支持了批处理和流处理。
Flink state manage
07-20
flink state manage 原理， ppt，非常好的资料：State Management in Apache Flink® Consistent Stateful Distributed Stream Processing
我的flink学习笔记
07-28
flink学习笔记flink学习笔记
7、Flink 自定义 WaterMarkGenerator 案例
猫猫爱吃小鱼粮
04-29 669
Flink 自定义 WaterMarkGenerator 案例
垃圾的flinkcdc
青春不流名
04-28 550
MySQL 默认是大小写不敏感的，使用反引号可以强制 MySQL 将表名或字段名视为区分大小写。如果不使用反引号，MySQL 将自动将表名和字段名转换为小写。: 使用反引号可以避免使用MySQL的保留字和关键字作为表名或字段名时产生的冲突。比如，你可以创建一个名为。虽然使用反引号有一定的好处，但过度使用也会增加代码的复杂性，一般来说，只有在必要的情况下才使用反引号。都将被视为大小写敏感的，而不会被转换为小写。
Flink on k8s 入门实战
weixin_43039757的博客
04-29 849
最近一直在学习flink on k8s，踩了不少坑，折腾了好几天，终于是达到了自己想要的效果。首先说一下，我要实现的效果是什么？
Apache DolphinScheduler支持Flink吗？
Apache DolphinScheduler开源社区
04-30 896
随着大数据技术的快速发展，很多企业开始将Flink引入到生产环境中，以满足日益复杂的数据处理需求。而作为一款企业级的数据调度平台，Apache DolphinScheduler也跟上了时代步伐，推出了对Flink任务类型的支持。Flink是一个开源的分布式流处理框架，具有高吞吐量、低延迟和准确性等特点，广泛应用于实时数据分析、机器学习等场景。通过DolphinScheduler的Flink任务类型，用户可以轻松地将Flink作业纳入到整个数据调度流程中，大大提高了数据处理的效率和可靠性。
pyflink 读取excel
zhaoyangjian724的专栏
04-27 703
import sysds.print()
10分钟了解数据质量管理-奥斯汀格里芬 Apache Griffin
搞数据
04-28 1266
Griffin是一个开源的大数据数据质量解决方案，由eBay开源，它支持批处理和流模式两种数据质量检测方式，是一个基于Hadoop和Spark建立的数据质量服务平台 (DQSP)。它提供了一个全面的框架来处理不同的任务，例如定义数据质量模型、执行数据质量测量、自动化数据分析和验证，以及跨多个数据系统的统一数据质量可视化。Griffin于2016年12月进入Apache孵化器，Apache软件基金会2018年12月12日正式宣布Apache Griffin毕业成为Apache顶级项目。
Debezium日常分享系列之：Debezium 2.7.0.Alpha1发布
zhengzaifeidelushang的博客
04-29 759
虽然 Oracle 建议用户避免使用基于 RAW 的列，但出于向后兼容性的原因，这些列仍广泛用于标准 Oracle 表中。但在某些业务用例中，继续使用 RAW 列而不是其他数据类型是有意义的。Debezium 2.7 引入了一个专门针对 Oracle 的新自定义转换器，称为 RawToStringConverter。此自定义转换器旨在允许您使用 STRING 架构类型快速将 RAW 列的字节数组内容转换为基于字符串的字段。
Elasticsearch：如何使用 Java 对索引进行 ES|QL 的查询
最新发布
Elastic 中国社区官方博客
05-05 767
​在我之前的文章 “Elasticsearch：对 Java 对象的 ES|QL 查询”，我详细介绍了如何使用 Java 来对 ES|QL 进行查询。对于不是很熟悉 Elasticsearch 的开发者来说，那篇文章里的例子还是不能单独来进行运行。在今天的这篇文章中，我来详细地介绍如何把那个例子跑起来。更多关于 ES|QL 的动手实践，请阅读文章 “Elasticsearch：ES|QL 查询展示”。
ruoyi漏洞总结
qq_59468567的博客
05-03 572
baseurl 就有了，有的是全的 url，大多数是只给个 baseurl：prod-api，这类。js 下面有个 app.xxxxxx(一些个字母数字).js，直接里面搜。如果页面访问显示不正常，可添加默认访问路径尝试是否显示正常。若依有个特点，密码可能在前台直接显示，点击并能够成功登录。监控中存在大量接口路径，可通过未授权获取更多敏感信息在。图标和登录页面及验证码处的样式识别出若依。认证失败，无法访问系统资源。进行替换实现登录系统。数据库存在未授权访问。
flink state
07-28
Flink State 是 Apache Flink 中的一个关键概念，它是用于在流处理和批处理任务中维护和访问状态的机制。在流处理中，状态是用于存储和管理事件流的中间结果或聚合信息的数据结构。通过使用状态，Flink 可以跟踪和...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值