Savepoint原理

最新推荐文章于 2021-07-11 07:30:46 发布
最新推荐文章于 2021-07-11 07:30:46 发布
阅读量146 收藏
点赞数
分类专栏： Flink 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/miachen520/article/details/118378269
版权
  1. Flink 还提供了可以自定义的镜像保存功能，就是保存点（savepoints）
  2. 原则上，创建保存点使用的算法与检查点完全相同，因此保存点可以认为就是具有一些额外元数据的检查点
  3. Flink不会自动创建保存点，因此用户（或外部调度程序）必须明确地触发创建操作
  4. 保存点是一个强大的功能。除了故障恢复外，保存点可以用于：有计划的手动备份，更新应用程序，版本迁移，暂停和重启应用，等等
mischen520
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
mysql savepoint作用_savepoint原理
weixin_28704675的博客
02-01 2705
保存点在MySQL中, 保存点SAVEPOINT属于事务控制处理部分。利用SAVEPOINT可以回滚指定部分事务，从而使事务处理更加灵活和精细。SAVEPOINT相关的SQL语句如下SAVEPOINT identifier设置SAVEPOINT。如果重复设置同名savepoint,新的会覆盖老的.RELEASE SAVEPOINT identifier释放SAVEPOINT。ROLLBACK [W...
数据库原理练习题多套 （含答案）
05-23
了解COMMIT、ROLLBACK和SAVEPOINT等事务控制命令。 6. **并发控制**：当多个用户同时访问数据库时，如何避免数据不一致。学习锁机制（共享锁、排他锁）、乐观锁和悲观锁策略，以及死锁的预防和解决。 7. **索引**...
savepoint原理
weixin_30439031的博客
12-17 341
保存点 在MySQL中, 保存点SAVEPOINT属于事务控制处理部分。利用SAVEPOINT可以回滚指定部分事务，从而使事务处理更加灵活和精细。SAVEPOINT相关的SQL语句如下 SAVEPOINT identifier 设置SAVEPOINT。如果重复设置同名savepoint,新的会覆盖老的. RELEASE SAVEPOINT identifier 释放SAVEPOI...
Flink 原理与实现：Savepoint
GatsbyNewton
03-01 994
在 Flink 原理与实现：Checkpoint 这篇文章中，我介绍了 Flink Checkpoint。Checkpoint 是 Flink 内置的失败恢复机制。 Savepoint Savepoint 是 Flink 的一个非常重要的特征，被 Flink PMC 誉为“瑞士军刀（Swiss Army knife）”。Savepoint 的实现算法和 Checkpoint 一样。但是，Savep...
事务中savepoint的使用
热门推荐
还不算晕的专栏
09-10 1万+
保存点概念： 保存点就是为回退做的。 保存点的个数没有限制 ，保存点和虚拟机中快照类似 保存点是事务中的一点。用于取消部分事务，当结束事务时，会自动的删除该事务中所定义的所有保存点。 当执行rollback时，通过指定保存点可以回退到指定的点。 回退事务的几个重要操作 1.设置保存点 savepoint a 2.取消保存点a之后事务 rollback to a 3.取消
JDBC事务管理及SavePoint示例
weixin_34302561的博客
02-07 184
2019独角兽企业重金招聘Python工程师标准>>> ...
Flink CheckPoint状态点恢复与savePoint机制对比剖析-Flink牛刀小试
weixin_34161064的博客
11-25 606
版权声明：本套技术专栏是作者（秦凯新）平时工作的总结和升华，通过从真实商业环境抽取案例进行总结和分享，并给出商业应用的调优建议和集群环境容量规划等内容，请持续关注本套博客。版权声明：禁止转载，欢迎学习。QQ邮箱地址：1120746959@qq.com，如有任何问题，可随时联系。 1 Flink 应用程序启动 ./bin/flink run -m yarn-cluster -yn 2 -yjm 10...
Flink原理、实战与性能优化-高级进阶培训（小白请勿下载）
06-07
此外，还会涉及Savepoint和Checkpoint机制，以及如何通过这些机制实现容错。 Flink的Runtime部分会讲解JobManager、TaskManager、Dispatcher和ResourceManager的角色和实现，同时也包括高可用服务的配置，如Flink ...
数据库原理
12-30
4. TCL（Transaction Control Language）：事务控制语言，用于管理数据库的事务，如提交(`COMMIT`)、回滚(`ROLLBACK`)和保存点(`SAVEPOINT`)。 嵌套SQL语句是指在一个SQL语句中使用另一个或多个SQL语句，以实现更...
Mysql事务以及锁原理讲解
最新发布
05-27
- **SAVEPOINT**：设置保存点，允许事务部分回滚。 示例代码： ```sql BEGIN; UPDATE account SET balance = balance - 10 WHERE id = 1; UPDATE account SET balance = balance + 10 WHERE id = 2; COMMIT; ``` #...
nhdx数据库原理所有实验报告
03-09
事务确保了数据的一致性和完整性，通过COMMIT保存更改，ROLLBACK撤销更改，以及SAVEPOINT设置恢复点。此外，可能还涉及了索引（Index）的创建和管理，索引可以显著提高查询速度，但也可能占用额外的存储空间。 实验...
Flink编程（RichMapFunction）
mischen520的博客
06-29 3761
package com.mischen.it; import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.common.functions.RichMapFunction; import org.apache.flink.configuration.Configuration; import org.apache.flink.streaming.api.environment.StreamE.
Flink on Yarn的3种部署模式对比和总结
mischen520的博客
06-20 2467
Flink提供了yarn上运行的3模式，分别为Application Mode, Session-Cluster和Per-Job-Cluster模式。 Session-Cluster
什么是事件驱动型应用？
mischen520的博客
06-19 1635
事件驱动型应用是一类具有状态的应用，它从一个或多个事件流提取数据，并根据到来的事件触发计算、状态更新或其他外部动作。 事件驱动型应用是在计算存储分离的传统应用基础上进化而来。在传统架构中，应用需要读写远程事务型数据库。 相反，事件驱动型应用是基于状态化流处理来完成。在该设计中，数据和计算不会分离，应用只需访问本地（内存或磁盘）即可获取数据。系统容错性的实现依赖于定期向远程持久化存储写入 checkpoint。下图描述了传统应用和事件驱动型应用架构的区别。 ...
Flink分布式快照的原理是什么？
mischen520的博客
07-11 1603
Flink的容错机制的核心部分是制作分布式数据流和操作算子状态的一致性快照。 这些快照充当一致性checkpoint，系统可以在发生故障时回滚。 Flink用于制作这些快照的机制在“分布式数据流的轻量级异步快照”中进行了描述。 它受到分布式快照的标准Chandy-Lamport算法的启发，专门针对Flink的执行模型而定制。 barriers在数据流源处被注入并行数据流中。快照n的barriers被插入的位置（我们称之为Sn）是快照所包含的数据在数据源中最大位置。 例如，在Apache Kaf.
深刻理解Flink的有界流和无界流
mischen520的博客
06-20 1422
先来看看有界流的代码： package com.mischen.it; import org.apache.flink.api.common.typeinfo.Types; import org.apache.flink.api.java.tuple.Tuple2; import org.apache.flink.streaming.api.datastream.DataStreamSource; import org.apache.flink.streaming.api.datastream.Key
Flink使用MapFunction实现类编程
mischen520的博客
06-29 1195
得到一个新的数据流:新的流的元素是原来流的元素的平方 package com.mischen.it; import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; /** * @ClassName Flink01_TransForm_Map_Anonymous * @Descriptio.
Flink集群有哪些角色？各自有什么作用？
mischen520的博客
06-18 1167
Flink程序在运行时主要有TaskManager，JobManager，Client三种角色。 JobManager扮演着集群中的管理者Master的角色，它是整个集群的协调者，负责接收Flink Job，协调检查点，Failover 故障恢复等，同时管理Flink集群中从节点TaskManager。 TaskManager是实际负责执行计算的Worker，在其上执行Flink Job的一组Task，每个TaskManager负责管理其所在节点上的资源信息，如内存、磁盘、网络，在启动的时候将资源..
flink进行分布式原理
06-09
Flink是一个分布式数据处理框架，它的分布式原理主要包括以下几个方面： 1. 任务分配：Flink采用了JobManager和TaskManager两种角色来进行任务分配。JobManager负责任务的调度和管理，而TaskManager则负责具体的任务执行。JobManager将任务分配到不同的TaskManager节点上进行执行。 2. 数据分区：Flink将数据分为多个分区，每个分区可以在不同的节点上进行处理。Flink采用了基于哈希的数据分区策略，可以根据数据的Key或哈希值将数据分配到不同的节点上进行处理。 3. 数据传输：Flink使用了轮询的方式来进行数据传输，即TaskManager节点会定时轮询发送到它的下游节点上是否有数据需要处理。Flink还使用了基于内存的数据传输方式，可以提高数据传输的效率。 4. 容错机制：Flink采用了基于Checkpoint的容错机制。当一个TaskManager节点出现故障时，Flink会将其它节点上的数据进行重新计算，保证数据处理的连续性和正确性。同时，Flink还支持基于Savepoint的容错机制，可以让用户手动保存任务的状态，以便在需要时进行恢复。 5. 状态管理：Flink使用了基于RocksDB的状态后端来管理任务的状态。RocksDB是一种高性能的本地存储引擎，可以提高状态读写的效率。同时，Flink还支持将状态存储到分布式文件系统中，以提高数据的可靠性和容错性。 总的来说，Flink具有高效的任务分配、数据分区和数据传输机制，同时还具有强大的容错和状态管理功能，可以保证数据处理的高效性和可靠性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值