第 23 节 State Backend(状态的后端存储)之重启策略

最新推荐文章于 2022-08-19 14:38:22 发布
最新推荐文章于 2022-08-19 14:38:22 发布
阅读量365 收藏
点赞数
分类专栏： Flink入门实战
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39868387/article/details/104769635
版权

上篇：第 22 节　Flink 状态、恢复、快照

1、State Backend(状态的后端存储)

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2、Restart Strategies(重启策略)

在这里插入图片描述

3、重启策略之固定间隔 (Fixed delay)

在这里插入图片描述

4、重启策略之失败率 (Failure rate)

在这里插入图片描述

5、重启策略之无重启 (No restart)

  1. 第一种：全局配置 flink-conf.yaml
    restart-strategy: none
  2. 第二种：应用代码设置
    env.setRestartStrategy(RestartStrategies.noRestart());

6、保存多个Checkpoint

在这里插入图片描述

7、从Checkpoint进行恢复

在这里插入图片描述

8、savePoint

  1. Flink通过Savepoint功能可以做到程序升级后，继续从升级前的那个点开始执行计算，保证数据不中断
  2. 全局，一致性快照。可以保存数据源offset，operator操作状态等信息
  3. 可以从应用在过去任意做了savepoint的时刻开始继续消费

checkPoint vs savePoint
在这里插入图片描述

savePoint的使用

在这里插入图片描述

江湖侠客
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
95-240-052-原理-State-MemoryStateBackend
九师兄
07-01 501
1.视图 2.拓扑图 3.概述 ​ MemoryStateBackend在内部将数据以对象的形式保存的Java堆中。键值对状态以及窗口operator以hash table的形式存储值、触发器等。 ​ MemoryStateBackend将数据作为Java堆栈栈的对象在内部保存。键/值对状态和窗口算子包含有存储值和触发器等的哈希表。 ​ 建立在检查点的机制上，该状态终端将对状态进行快照并且将状态的快照作为检查点应答消息的一部分发送给JobManager（master），JobManager将快照存储在它
Spark程序启动资源策略
weixin_42687074的博客
04-16 191
一、前文 当我们开发完一个Spark项目之后，我们需要多少资源合适？合理的资源参数将帮我们更好地利用集群。 二、实验 1、代码逻辑 //第一次拉取数据 val df: DataFrame = spark.read.format("jdbc") //拉取后shuffle .repartition(numPartitions) //第一次全局统计 val max_r...
如何计算一组数据的波动幅度_小红书如何实现高效推荐？解密背后的大数据计算平台架构...
weixin_39665060的博客
11-23 1022
作者：郭一整理：董黎明本文整理自2019阿里云峰会·上海开发者大会开源大数据专场中小红书实时推荐团队负责人郭一先生现场分享。小红书作为生活分享类社区，目前有8500万用户，年同比增长为300%，大约每天有30亿条笔记在发现首页进行展示。推荐是小红书非常核心且重要的场景之一，本文主要分享在推荐业务场景中小红书的实时计算应用。实时计算在推荐业务中的场景线上推荐流程小红书线上推荐的流程主要可以分为三步。...
flink学习笔记-dataStream状态保存和恢复（state、checkPoint、State Backend、savePoint）
陈同学
03-24 941
checkPoint保存数据 如果一个task在处理过程中挂掉了，那么它在内存中的状态都会丢失，所有的数据都需要重新计算。从容错和消息处理的语义上(at least once, exactly once)，Flink引入了state和checkpoint。 首先区分一下两个概念 state：一个具体的task/operator的状态【state数据默认保存在java的堆内存中】 checkpo...
Flink优化02--状态及Checkpoint调优
Johnson8702的博客
04-07 3862
一、状态简述 Flink的状态分为三种： MemoryStateBackend：默认的方式，即基于JVM的堆内存进行存储，主要适用于本地开发和调试； FsStateBackend：基于文件系统进行存储，可以是本地文件系统，也可以是HDFS等分布式文件凶系统。需要注意，虽然选择使用 FsStateBackend，但是正在进行的数据仍然存储在 TaskManager的内存中，只有在 checkpoint 时，才会将状态快照写入到指定文件系统上； RocksDBStateBackend：Flink内置的第三方状
BackEnd:后端存储代码和文档的地方
05-02
5.在项目目录下，安装第三方需求包 pip install -r requirements 运行 项目结构如下： Appserver/ ├── app │ ├── static/ # 静态资源文件夹 │ ├── templates/ # 模板文件夹 │ ├── __init__.py # 初始...
Geschaeftskundenbroker-backend:后端存储库
03-07
Geschaeftskundenbroker回购前端： ： 文档和组织： : 菲尔玛Eine Firma kann alsGeschäftskundeauftreten。 Jede Firma帽子的电子识别代码，sine eine Adresse。昆德Ein Kunde ist einenatürliche先生，本人，是...
blog-backend:后端
03-26
博客后端 特拉维斯CI地址 生成图像并将其推送到docker hub'purplemystic / blog' ./gradlew jib 创建postgres和博客容器 # *************** Solution 1 *************** # 1. create postgresql # 5432 is for ...
backend:后端
03-08
总之，“backend:后端”涵盖了许多方面，从语言选择（如JavaScript）到框架（如Express.js）、数据库（如MongoDB）以及安全和性能优化策略。"backend-master"项目提供了一个深入学习和实践这些知识的机会，通过逐步...
Consilio-Backend:后端理事会
05-14
Consilio后端CodeChefVIT设计Hackathon Consilio的后端特征减少冗余。 很好的更新和翔实的信息。 易于使用。重要连结建筑学运行说明 :hammer_and_wrench: $ git clone ...
Flink调优（一）资源调优、背压问题的分析
qq_44665283的博客
06-20 3184
flink优化
Flink 1.13，State Backend 优化及生产实践分享
Ververica的博客
06-30 836
摘要：本文由社区志愿者佳伟整理，内容来源自 Apache Flink Committer、阿里巴巴高级开发工程师唐云(茶干) 在 5 月 22 日北京站 Flink Meetup 分享的 ...
Flink的状态后端（State Backends）
程序人生
08-03 812
MemoryStateBackend 和 FsStateBackend 都是在内存中进行状态管理，所以可以获取较低的读写延迟，但会受限于TaskManager的内存大小；而RocksDBStateBackend直接将State存储到RocksDB数据库中，所以不受JobManager的内存限制，但会有读写延迟，同时 RocksDBStateBackend 支持增量备份，这是其他两个都不支持的特性。一般来说，如果不是对延迟有极高的要求，RocksDBStateBackend是更好的选择...
Spark大数据分与实践笔记（第二章 Spark基础-03）
Lydia868的专栏
08-19 1413
Spark-Shell通常在测试和验证我们的程序时使用的较多，然而在生产环境中,通常会在IDEA开发工具中编写程序,然后打成Jar包，最后提交到集群中执行。本节我们将利用IDEA工具开发一个WordCount单词计数程序。
结合源码看《我所理解的cocos2dx-3.0》—— 渲染流程
fztfztfzt的专栏
09-01 282
绘制系统概览
flink checkpoint 存储策略源码分析
yuchuanchen的专栏
06-10 2611
我们在 flink checkpoint 流程分析 这篇文章中，详细介绍了 checkpoint 的过程；在 Flink 如何保存状态数据 中，介绍了 state 的分类、state 的三种后端存储方式和具体使用方法，并在逻辑上简要介绍了 statebackend 保存 state 的方法。 本文将在上面两篇文章基础上，详细介绍 state 的存储策略。 本文基于 flink-1.10 版本。 文章目录1.同步阶段1.1 DefaultOperatorStateBackend#snapshot()1.2
flink的checkpoint设置和largeState
qq_44962429的博客
01-08 1048
Overview 为了使Flink应用程序能够大规模可靠地运行，必须满足两个条件： ​ 应用程序需要能够可靠地接受检查点 ​ 故障后，资源必须足够赶上输入数据流 第一部分讨论了如何获得性能良好的检查点。 最后一部分介绍了有关计划使用多少资源的一些最佳做法。 1 监视状态和检查点 监视检查点行为的最简单方法是通过用户界面的检查点部分。检查点监视的文档显示了如何访问可用的检查点指标。 扩大检查点时特别...
Flink state缓存测试
fengyu_lc的博客
11-26 3048
Flink state 在实际生产中的应用一、FlinkState的概念1、state分类2、FsStateBackend 和 RocksDBStateBackend 相关配置1） 一、FlinkState的概念 1、state分类 以下对目前广泛使用的三类 state backend 做了区分，其中绿色表示所创建的operator/keyed state backend 是 on-heap 的，黄色则表示是 off-heap 的。 一般而言，在生产中，我们会在 FsStateBackend 和 Rock
Flink状态管理之State Backend(状态的后端存储)
热门推荐
Jiny_li的博客
01-13 1万+
基本介绍 1、默认情况下，state会保存在taskmanager的内存中，checkpoint会存储在JobManager的内存中。 2、state 的store和checkpoint的位置取决于State Backend的配置（env.setStateBackend(…)） 3、一共有三种State Backend：MemoryStateBackend、FsStateBackend、R...
Flink状态后端介绍
最新发布
06-01
Flink状态后端是Flink用来管理和存储状态的组件，它支持将状态存储在不同的存储后端中，包括内存、文件系统、RocksDB、Hadoop Distributed File System（HDFS）等。Flink状态后端的选择会直接影响Flink任务的性能和可靠性。 下面介绍几种常用的Flink状态后端： 1. MemoryStateBackend：将状态存储在内存中，适用于对性能要求较高且状态量较小的场景，但不支持容错和恢复。 2. FsStateBackend：将状态存储在分布式文件系统中，如HDFS，支持容错和恢复，但性能较MemoryStateBackend略有下降。 3. RocksDBStateBackend：将状态存储在RocksDB中，支持高性能的状态读写和快速的恢复，但需要额外的依赖和配置。 4. Blink State Backend：这是Flink 1.9版本引入的全新状态后端，它支持同时使用内存、RocksDB和其他存储后端，可以根据数据大小和性能需求灵活选择。 在选择Flink状态后端时，需要根据实际情况进行综合考虑，包括数据大小、性能要求、容错和恢复能力等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值