flink
worldchinalee
这个作者很懒,什么都没留下…
展开
-
Flink的checkpoint配置详解
实例:StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();// start a checkpoint every 1000 msenv.enableCheckpointing(1000);// advanced options:// set mode to exactly-once (this is the default)env.getCheckpointConfig()转载 2020-07-31 16:46:05 · 6653 阅读 · 2 评论 -
Flink on YARN(下):常见问题与排查思路
Flink 支持 Standalone 独立部署和 YARN、Kubernetes、Mesos 等集群部署模式,其中 YARN 集群部署模式在国内的应用越来越广泛。Flink 社区将推出 Flink on YARN 应用解读系列文章,分为上、下两篇。上篇分享了基于 FLIP-6 重构后的资源调度模型介绍Flink on YARN 应用启动全流程,本文将根据社区大群反馈,解答客户端和 Flink Cluster 的常见问题,分享相关问题的排查思路。客户端常见问题与排查思路▼ 应用提交控制...转载 2020-07-14 10:50:55 · 805 阅读 · 0 评论 -
Flink on YARN(上):一张图轻松掌握基础架构与启动流程
Flink 支持 Standalone 独立部署和 YARN、Kubernetes、Mesos 等集群部署模式,其中 YARN 集群部署模式在国内的应用越来越广泛。Flink 社区将推出 Flink on YARN 应用解读系列文章,分为上、下两篇。本文基于 FLIP-6 重构后的资源调度模型将介绍 Flink on YARN 应用启动全流程,并进行详细步骤解析。Flink on YARN 应用启动流程图Flink on YARN 集群部署模式涉及 YARN 和 Flink 两大开源框架,应用启动流转载 2020-07-14 10:35:53 · 325 阅读 · 0 评论 -
Flink流计算编程--watermark(水位线)简介
1、watermark的概念watermark是一种衡量Event Time进展的机制,它是数据本身的一个隐藏属性。通常基于Event Time的数据,自身都包含一个timestamp,例如1472693399700(2016-09-01 09:29:59.700),而这条数据的watermark时间则可能是:watermark(1472693399700) = 14726933967...转载 2019-02-20 10:07:51 · 779 阅读 · 0 评论