![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink-1.10
文章平均质量分 98
yuchuanchen
这个作者很懒,什么都没留下…
展开
-
flink state restore 流程源码分析
之前我们了解过 flink checkpoint 流程 和 flink checkpoint 存储策略 ,而当 flink 作业失败恢复或者用户手动从某一个 savepoint/checkpoint 恢复时,就会触发 state restore 流程。下面我们对该流程进行详细分析。本文代码基于 flink-1.10.1.和 checkpoint 流程一样,checkpoint state restore 也需要 CheckpointCoordinator 的参与。CheckpointCoordinat原创 2020-06-28 19:05:26 · 2068 阅读 · 0 评论 -
flink checkpoint 存储策略源码分析
我们在 flink checkpoint 流程分析 这篇文章中,详细介绍了 checkpoint 的过程;在 Flink 如何保存状态数据 中,介绍了 state 的分类、state 的三种后端存储方式和具体使用方法,并在逻辑上简要介绍了 statebackend 保存 state 的方法。本文将在上面两篇文章基础上,详细介绍 state 的存储策略。本文基于 flink-1.10 版本。文章目录1.同步阶段1.1 DefaultOperatorStateBackend#snapshot()1.2原创 2020-06-10 16:12:19 · 2695 阅读 · 2 评论 -
flink checkpoint 流程源码分析
flink 容错机制的核心是对数据流做连续的分布式快照(snapshots)。在系统失败时,各个算子可以从这些快照构成的检查点(checkpoint)恢复到故障之前的状态,保证即使遇到故障,作业的最终结果只被数据流中的每一条消息影响一次(exactly-once) (这里可以通过配置退化成 at least once)。生成分布式快照的机制在 “[Lightweight Asynchronous Snapshots for Distributed Dataflows](Lightweight Asynchr原创 2020-05-14 16:53:09 · 1711 阅读 · 0 评论 -
flink-1.10 pyflink onyarn 安装文档(支持 UDF)
1.从源码编译 flink注意:需要 Python 3.5+如果已经有 apache-flink-*.dev0.tar.gz 二进制包,可以跳过这一步。mvn clean install -DskipTests会在 flink-python/dist 目录生成一个 apache-flink-*.dev0.tar.gz 二进制包,拷贝该包到需要安装 pyflink 的机器2.安装并测试...转载 2020-03-03 19:36:04 · 2538 阅读 · 18 评论 -
flink-1.10 native-k8s (Beta)
注意:flink-1.10 版本的 native-k8s 还是实验版本,相关配置或客户端可能在未来变更。并且当前版本仅支持 session 模式1.环境需求Kubernetes 版本 >= 1.9用户需要有在 k8s 集群上的相关权限(list/create/delete pods/delete services),需要准备好 KubeConfig 文件,默认会使用( ~/.kube...翻译 2020-03-03 12:49:52 · 725 阅读 · 0 评论 -
flink-1.10 统一作业提交逻辑
文章目录1.FLIP-73 : 通用的 Executor 接口2.FLIP-81:Executor 相关的新配置3.FLINK-74:Flink JobClient APIflink-1.10 之前,任务提交通常遇到以下问题:任务提交由 Execution Environments 负责,并且和部署的环境(yarn k8s mesos)高度绑定,导致最终 Execution Environm...原创 2020-02-25 17:56:36 · 2119 阅读 · 0 评论 -
flink1.10-release-note及新特性整理
附 xmind 源文件:链接: https://pan.baidu.com/s/1MGiCshlxTRg0OFbCRvZNrA 提取码: mt6c翻译 2020-02-24 10:54:45 · 668 阅读 · 0 评论 -
flink-1.10 内存模型详解
文章目录1.概览2.框架内存(Framework Memory)3.根据比例限制的组件(Capped Fractionated Components)4.对应的 JVM 参数(JVM Parameters)5.本地执行时的内存策略(Local Execution)之前的一篇 文章(flink-1.10 如何配置 Task Executor 内存)介绍了新的内存模型下配置 task executo...翻译 2020-02-20 16:43:19 · 4205 阅读 · 0 评论 -
flink-1.10 如何配置 Task Executor 内存
文章目录配置总内存配置 Task Heap 和 Managed MemoryTask (Operator) Heap MemoryManaged Memory配置 Off-Heap Memory (direct or native)flink 分别提供了通用和细粒度的内存配置,来满足不同用户的需求。配置总内存[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VOC...翻译 2020-02-19 17:32:34 · 4898 阅读 · 1 评论