Flink_Flink 的容错

最新推荐文章于 2023-06-18 19:46:01 发布
最新推荐文章于 2023-06-18 19:46:01 发布
阅读量169 收藏
点赞数 1
分类专栏： Flink 文章标签： Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44509920/article/details/107446377
版权

文章目录

1. Checkpoint 介绍

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2. 持久化存储

目前，Checkpoint 持久化存储可以使用如下三种:

2.1 MemStateBackend（默认）

在这里插入图片描述

2.2 FsStateBackend（建议使用）

在这里插入图片描述

2.3 RocksDBStateBackend

在这里插入图片描述

2.4 语法

val env = StreamExecutionEnvironment.getExecutionEnvironment() 
// start a checkpoint every 1000 ms 
env.enableCheckpointing(1000) 
// advanced options: 
// 设置 checkpoint 的执行模式，最多执行一次或者至少执行一次 
env.getCheckpointConfig.setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE) 
// 设置 checkpoint 的超时时间 
env.getCheckpointConfig.setCheckpointTimeout(60000) 
// 如果在只做快照过程中出现错误，是否让整体任务失败：true 是 false 不是 
env.getCheckpointConfig
最低0.47元/天 解锁文章
BigMoM1573
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
大数据_Flink_Java版_容错机制(4)-检查点具体算法---Flink工作笔记0073
添柴程序猿的专栏
03-25 378
然后我们来看看,检查点的算法是具体怎么实现的,可以看到上面: 有两条流过来了,数据都是1,2,3,4,5,6,7...做了个加和操作,可以看到,蓝流,这里,上面是 sum_even是偶数加和,可以看到蓝流的2,流到sum_even以后,输出了一个黄2这个结果对吧, 然后再看奇数sum_odd这里,可以看到后面有个2,这个2肯定是 1 + 1实现的对吧, 也就是,一个蓝1+一个黄1 就是2对吧.然后后面有个黄5,可以看到,这个肯定是,得到的, 蓝2这里又加了个过来的黄3对吧就是5 了. 可以看..
大数据_Flink_Java版_容错机制(5)-保存点---Flink工作笔记0074
添柴程序猿的专栏
03-24 288
然后我们再来看保存点,可以这样理解,保存点是手动的保存,检查点,这个是flink,会自动的隔一段时间就会自动的去保存.而保存点不会,他需要我们手动的去保存,他有强大的功能, 比如:手动备份不用说了. 然后这个更新应用程序,比如当我们的程序更新了,我们需要把之前所有的数据都重新跑一遍吗? 不需要对吧,我们一般都是更新前设置一个保存点,更新后,从这个保存点开始执行就可以了. 然后版本迁移,如果升级了flink的版本以后,也是,升级之前做个保存点,升级以后,然后不用把所有 数据都跑一遍了,只从保存点..
Flink的容错
qq_42786792的博客
11-17 428
一.CheckPoint 1.1CheckPoint介绍 Checkpoint是Flink容错的核心机制,它可以定期的从各个Operator处理的数据进行快照存储,如果Flink程序出现宕机,可以重新从这些快照中恢复数据 每个Checkpoint的应用在启动时,Flink的JobManager为其创建一个CheckpointCoordinator(检查点协调器),CheckpointCoordin...
Flink 容错机制
mengxianglong123的博客
04-04 4886
概述   在分布式架构中，当某个节点出现故障，其他节点基本不受影响。这时只需要重启应用， 恢复之前某个时间点的状态继续处理就可以了。这一切看似简单，可是在实时流处理中，我们不仅需要保证故障后能够重启继续运行，还要保证结果的正确性、故障恢复的速度、对处理性能的影响，这就需要在架构上做出更加精巧的设计。   在 Flink 中，有一套完整的容错机制（fault tolerance）来保证故障后的恢复，其中最重要的就是检查点（checkpoint）。在前面，我们已经介绍过检查点的基本概念和用途，接下来我们就深入探
Flink容错机制
最新发布
m0_57697768的博客
06-18 1049
Flink数据传输状态一致性，Checkpoint的设置，数据容错机制
Flink_简介
qq_44509920的博客
07-07 124
文章目录Flink 简介1.1 Flink 的引入1.2什么是 Flink1.3 Flink 流处理特性1.4 Flink 基石1.5 批处理与流处理 Flink 简介 1.1 Flink 的引入 这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有 Hadoop、Storm， 以及后来的 Spark，他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河，也以 内存为赌注，赢得了内存计算的飞速发展。 Spark 的火热或多或少的掩盖了其他分布式计 算的系统身影。就像 Flink，也就在
Flink_架构体系
qq_44509920的博客
07-07 374
文章目录2.1 Flink 中的重要角⾊2.2 无界数据流与有界数据流 无界数据流：2.3 Flink 数据流编程模型2.4 Libraries 支持 2.1 Flink 中的重要角⾊ JobManager 处理器： 也称之为 Master， 用于协调分布式执行， 它们用来调度 task， 协调检查点， 协调失败 时恢复等。 Flink 运行时至少存在一个 master 处理器， 如果配置高可用模式则会存在多 个 master 处理器， 它们其中有一个是 leader， 而其他的都是 standby。
Apache Flink学习_容错机制
栖溪阁晓生的博客
11-20 1148
本文主要介绍Flink的检查点及故障恢复机制。了解Flink是如何提供精确一次的状态一致性保障的。另外还会介绍Flink独有的保存点机制。 一、checkpoint checkpoint机制是Flink可靠性的基石，可以保证Flink集群在某个算子因为某些原因出现故障时，能够将整个应用流图的状态恢复到故障之前的某一状态，保证应用流图状态的一致性。 用一个简单的实现算法来解释应用建立一致性检查点的过程，概括的将这个简单算法的步骤就是： 暂停应用 --> 等待流入数据被全部处理，将全部任务状持久化存储
大数据_Flink_Java版_容错机制(1)-检查点概念---Flink工作笔记0070
添柴程序猿的专栏
03-27 231
然后我们再来看,检查点的概念,这里主要有上面几点 要知道比如上面,处理数据,1234567数据,even是偶数,odd是奇数. 这里检查点要存的,不能存储计算的中间状态,他要存,比如计算完的一个状态, 正好是处理完某个数据的,状态,比如,数据5在source端,然后6在sum_even这里正好计算出6来 然后sum_odd正好计算出9来...这样的状态,并且存的时候,也是会存5在source...把各个状态的数据 的位置也要存储. ...
大数据_Flink_Java版_容错机制(6)-检查点和重启策略配置---Flink工作笔记0075
添柴程序猿的专栏
03-29 1550
然后我们来看,在代码中我们并没有设置过检查点对吧,难道她会自动的给我们保存检查点吗, 注意,不会,因为检查点,是很耗性能的,默认是不开启的,然后我们来看一下如何开启并使用. 我们在StateTest4_FaultTolerance中做例子就行了,这个代码是现成的,我们用来做状态后端测试的. 可以看到这里,我们通过env.enableCheckpointing().这里来启动检查点 然后我们去看看,实际上还有个带参数的 enableCheckpointing对吧,里面传入一个long...
java8stream源码-flink_sort:相当排序
06-04
具有完全一次处理保证的容错 流媒体程序中的自然背压 图处理（批处理）、机器学习（批处理）和复杂事件处理（流）库 数据集（批处理）API 中对迭代程序 (BSP) 的内置支持 自定义内存管理，可在内存和核外数据处理...
java8stream源码-flink_local:flink的局部改进
06-04
具有完全一次处理保证的容错 流媒体程序中的自然背压 图处理（批处理）、机器学习（批处理）和复杂事件处理（流）库 数据集（批处理）API 中对迭代程序 (BSP) 的内置支持 自定义内存管理，可在内存和核外数据处理...
Flink 容错 2.0 的最新进展.pdf
03-21
Flink 容错 2.0 的最新进展
大数据技术之Flink教程
04-02
第一章 Flink简介 第二章 快速上手 第三章 Flink部署 第四章 Flink运行架构 第五章 Flink流处理API 第六章 Flink中的Window 第七章 时间语义与Watermark ...第九章 状态编程与容错机制 第十章 Table API 与 SQL
Flink知识点总结文档
03-14
5、基于轻量级分布式快照（CheckPoint）实现的容错 保证exactly-once语义 6、基于JVM实现独立的内存管理 7、Save Points（保存点） Flink系统架构中包含了两个角色，分别是JobManager和TaskManager，是一个典型的...
Flink_DataStream API 开发（入门案例）
qq_44509920的博客
07-19 2446
文章目录Time 与 Window1. Time2. Window3. Window API3.1CountWindow3.2 TimeWindow3.3 Window Reduce3.4 Window Apply3.5 Window Fold3.6 Aggregation on Window Time 与 Window 1. Time 2. Window Window 概述 streaming 流式计算是一种被设计用于处理无限数据集的数据处理引擎，而无限数据集 是指一种不断增长的本质上无限的数据集，
Flink_数据输出 Data Sinks
qq_44509920的博客
07-18 1094
文章目录1.基于本地集合的 sink（Collection-based-sink）2 .基于文件的 sink（File-based-sink）2.1 将数据写入本地文件/将数据写入 HDFS flink 在批处理中常见的 sink 基于本地集合的 sink（Collection-based-sink） 基于文件的 sink（File-based-sink） 1.基于本地集合的 sink（Collection-based-sink） package com.czxy.flink.batch.sink i
Flink_ Flink的广播变量
qq_44509920的博客
07-18 782
文章目录 步骤 获取批处理运行环境 分别创建两个数据集 使用 RichMapFunction 对 成绩 数据集进行 map 转换 在数据集调用 map 方法后，调用 withBroadcastSet 将 学生 数据集创建广播 实现 RichMapFunction a. 将成绩数据(学生 ID，学科，成绩) -> (学生姓名，学科，成绩) b. 重写 open 方法中，获取广播数据 c. 导入 scala.collection.JavaConverters._ 隐式转换 d. 将广播数据使用 a
Flink_Flink 的分布式缓存
qq_44509920的博客
07-18 748
文章目录Flink 的分布式缓存Flink Accumulators & Counters（了解） Flink 的分布式缓存 操作步骤 将 distribute_cache_student 文件上传到 HDFS / 目录下 获取批处理运行环境 创建成绩数据集 对 成绩 数据集进行 map 转换，将（学生 ID, 学科, 分数）转换为（学生姓名，学科， 分数） a. RichMapFunction 的 open 方法中，获取分布式缓存数据 b. 在 map 方法中进行转换 实现 open 方法 a
谈谈flink的容错机制
02-18
Flink的容错机制通过在计算环境中检查和管理状态来实现。它首先利用检查点机制以定期检查应用程序的状态，然后在可能发生错误的情况下恢复应用程序的状态。Flink还提供了一个可靠性API，用于将计算任务中的失败恢复到正确的状态，从而实现高效的容错机制。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值