孙金城视频总结(1)_flink状态后端statebackend管理,容错以及升级程序注意事项

最新推荐文章于 2024-08-12 11:30:17 发布
最新推荐文章于 2024-08-12 11:30:17 发布
阅读量210 收藏
点赞数
分类专栏： Apache Flink 文章标签： flink kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010034713/article/details/108477234
版权

1 Flink-StateBackend

视频地址

1.1 MemoryStateBackend

  • 特点
    • 基于JVM堆内存,会有oom风险(TM,JM)
    • 持久化时,State网络传输到JM机器,同样存在JM的内存中
  • 适用
    • 开发测试
    • 状态小的流计算场景,比如比如只包含数据过滤和转换以及数据源的消费位置

1.2 FsStateBackend

  • 特点
    • 基于JVM堆内存,会有oom风险(TM)
    • 持久化时,State存在TM的文件系统,只传输文件名和文件目录传输到JM
  • 适用
    • 大状态(前提是TM分摊可以承受)

1.3 RocksDBStateBackend

  • 特点
    • 基于RocksDB,本地文件系统
    • 状态不上传到JM,增量CP性能优势(?)持久化State
  • 适用
    • 大状态

2 Flink容错-State

使用StateBackend拉取状态重新执行

详细文章地址

3 Flink容错-拓扑变化升级

比如下面的sink减少

需要执行命令多加参数 -- allowNonRestoredState

 比如下面的算子增加

一般operator指定uid命名,重启会根据uid映射算子

4  Flink容错-Source

 

菜到抠脚的cxy
关注
专栏目录
Flink 1.13 新版状态后端 StateBackend 详解
SmartSi
09-30 1105
在 Flink 1.13 版本之前，StateBackend 提供了三个开箱即用的 StateBackend：MemoryStateBackend、FsStateBackend 以及 RocksDBStateBackend。该版本下的 StateBackend 把状态存储(如何在 TM 上本地存储和访问状态)和 Checkpoint 持久化(Checkpoint 如何持久化状态)笼统的混在一起，导致初学者对此感觉很混乱，很难理解。
Flink - 15.最新 StateBackend 状态后端详解
BITDDD小栈
08-24 827
使用 DataStreaming 编写流式程序时通常结合 KeyedStream 实现状态的读取与更新，为了防止数据丢失并持续恢复，状态在检查点的持久化方式和位置取决于 StateBackend，下面基于 1.8.x 和 1.13.x 新老版本的状态后端进行分析以及工程环境下状态后端的使用与调优。
【04-阿里-孙金城】Apache Flink Python API 核心技术及案例.pdf
12-23
【04-阿里-孙金城】Apache Flink Python API 核心技术及案例.pdf
孙金城flink视频笔记-flink优势特点 3
u013009809的专栏
07-20 168
端到端 exactly-once exactly once不是指一个数据只被处理一次，而是指一个数据只影响结果一次 exactly once只能保证内部算子，不能保证外部存储sink的exactly once。这时需要
孙金城flink视频笔记-flink优势特点
u013009809的专栏
06-22 465
1.流计算乱序问题 无限流count不会有乱序问题，分组统计才会有乱序问题 watermark是一个时间戳，标识了小于这个时间戳的事件都已经到达了 watermark水印在源位置发射，通过拓扑中的运算符传播 watermark也是streamElement 和普通数据一起在算子之间传递（可以看成一条数据） watermak出发窗口计算，那么long.Max_value值会在公诉算子后续没有任何数据了 watermark生成方式： 1.watermark在数据源位置生成 ..
Flink笔记(十八)：Flink 之 StateBackend 介绍 & 使用
01-07
1.StateBackEnd        用来保存 State 的存储后端就叫做StateBackend。StateBackend 默认是保存在 JobManager 的内存中，也可以保存在 本地文件系统 或者 HDFS 分布式文件系统中。        当检查点（CheckPoint）机制启动时，状态将在检查点中持久化来应对数据的丢失以及恢复。而1.状态在内部是如何表示的？ 2.状态是如何持久化到检查点中以及3.持久化到哪里都取决于选定的StateBackend。 2.可用的StateBackEnd    Flink为我们提供了如下三种Statebackend实现：      1. Mem
flink状态与容错-1.13
第一片心意的博客
12-03 3383
本文为 flink 1.13 官网中对于状态与容错部分的翻译整理。
Flink状态后端-Memory/Fs/RockDB
最新发布
someInNeed的博客
08-12 1080
纠正一个常见的误区：认为RocksDB是一个需要在集群上运行并由专门管理员管理的分布式数据库，是错误的。RocksDB是一个用于快速存储的可嵌入持久化键值存储。它通过Java Native接口（JNI）与Flink进行交互。
大数据_Flink_Java版_状态管理(4)_状态后端---Flink工作笔记0065
添柴程序猿的专栏
03-19 368
然后我们再来看这个,状态后端,这个是个可插入的组件,他主要是用来管理状态的,比如,对状态的维护,还需要有对状态的容错对吧,所以,首先为了保存状态,都是把状态保存到内存中的,但是为了 容错防止,机器down掉,会丢失状态还需要把状态在硬盘中存储一份. 这些复杂的状态管理,在分布式下如果我们自己实现就非常复杂,但是flink给我们提供了这个状态 管理组件,叫做state backend 状态后端. 可以看到,状态后端主要负责,本地状态管理,以及将检查点checkpoint状态写入远程存储起来. ..
flink-statebackend-rocksdb_2.11-1.13.2-API文档-中文版.zip
06-06
赠送jar包：flink-statebackend-rocksdb_2.11-1.13.2.jar； 赠送原API文档：flink-statebackend-rocksdb_2.11-1.13.2-javadoc.jar； 赠送源代码：flink-statebackend-rocksdb_2.11-1.13.2-sources.jar； 赠送Maven...
flink常用参数说明
热门推荐
暮紫的笔记本
03-03 1万+
一、flink run参数： flink run命令执行模板：flink run [option] -c,–class : 需要指定的main方法的类 -C,–classpath : 向每个用户代码添加url，他是通过UrlClassLoader加载。url需要指定文件的schema如（file://） -d,–detached : 在后台运行 -p,–parallelism : job需要指定env的并行度，这个一般都需要设置。 -q,–sysoutLogging : 禁止logging输出作为
孙金城视频总结(5)_flink流计算语义
u010034713的博客
09-11 230
flink流计算语义 at-most-once至多一次 at-least-once至少一次 exactly-once精准一次 语义 基于快照,快照基于状态state,状态基于状态后端statebackend state分为两种 public interface ManagedInitializationContext { boolean isRestored(); OperatorStateStore getOperatorStateStore(); KeyedStateStore
孙金城视频总结(3)_flink流计算容错重启策略与Checkpoint,Savepoint结合
u010034713的博客
09-09 226
1 启用Checkpointing 实现job异常重启后继续上次状态 public class EnableCheckpointForFailover { public static void main(String[] args) throws Exception { StreamExecutionEnvironment streamEnv = StreamExecutionEnvironment.getExecutionEnvironment(); // 1
Flink使用指南：Flink操作命令基础整理 (日常更新中...)
徐腾瑞的博客
07-06 3521
系列文章目录 Flink使用指南：Checkpoint机制，完全搞懂了，你就是大佬！ Flink使用指南: 面试必问内存管理模型，进大厂一定要知道！ Flink使用指南: Kafka流表关联HBase维度表 Flink使用指南: Watermark新版本使用 Flink使用指南: Flink SQL自定义函数 flink -run命令： -c,--class <classname> : 需要指定的main方法的类 -C,--classpath <url> : 向
flink run 启动参数
Naiverloser的博客
10-21 1925
通用: -c,–class 使用程序入口点("main()"方法)初始化。仅当JAR文件没有在其清单中指定类时才需要。 -C,–classpath 向集群中所有节点上的每个用户代码类加载器添加URL。这些路径必须指定一个协议(例如file://)，并且在所有节点上都可以访问(例如通过NFS共享)。您可以多次使用此选项来指定多个URL。该协议必须由{@link java.net.URLClassLoader}支持。 -d,–detached 如果存在，则以分离模式运行作业...
Flink的状态后端(State Backends)
淡定一生2333的博客
06-30 8672
一、前言 Flink提供不同的状态后端（State Backend）来区分状态的存储方式和存储位置。Flink状态可以存储在java堆内存内或者内存之外。通过状态后端的设置，Flink允许应用持有大容量的状态。开发者可以在不改变应用逻辑的情况下设置状态后端。 二、可用的State Backend Flink提供三种开箱即用的State Backend： MemoryStateBackend FsStateBackend RocksDBStateBackend 2.1...
Flink状态后端配置（设置State Backend）
大黄的博客
12-05 4346
Flink提供不同的状态后端（state backends）来区分状态的存储方式和存储位置。flink状态可以存储在java堆内存内或者内存之外。通过状态后端的设置，flink允许应用保持大容量的状态。开发者可以在不改变应用逻辑的情况下设置状态后端。 默认情况下，flink的状态会保存在taskmanager的内存中，而checkpoint会保存在jobManager的内存中。 flink提供三种开箱即用的State Backend： MemoryStateBackend FsStateBacken
Flink savepoint | checkpoint 恢复
qq_15138049的博客
11-04 712
flink 恢复
数据处理能力相差 2.4 倍？Flink 使用 RocksDB 和 Gemini 的性能对比实验
Ververica的博客
08-05 1237
微博机器学习平台使用 Flink 实现多流 join 来生成在线机器学习需要的样本。时间窗口内的数据会被缓存到 state 里，且 state 访问的延迟通常决定了作业的性能。开源 Fl...
Apache Flink的状态管理与容错策略解析
"Apache Flink的状态管理和容错机制是其在流处理领域的核心优势，针对有状态计算提供了高效且可靠的解决方案。" 在流数据处理领域，有状态的计算至关重要，因为它允许程序根据历史数据来生成结果，而不仅仅是依赖...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值