Flink
文章平均质量分 72
疯码牛Pro
大数据、AI技术拓荒
展开
-
Flink不止于计算,存算一体才是未来
未来,利用 Flink CDC、Flink SQL、Flink Dynamic Table 就可以构建一套完整的流式数仓,实现实时离线一体化及对应计算存储一体化的体验。那便是大数据技术,flink技术发展的又一个精进高度。原创 2022-03-25 12:30:11 · 2229 阅读 · 0 评论 -
flink问题合集
1 flink web-ui task manager stdout 打印出来的中文乱码在flink_conf. yaml 添加以下内容env.java.opts: "-Dfile.encoding=UTF-8"原创 2021-10-20 17:26:11 · 142 阅读 · 0 评论 -
flink数据广播场景总结
数据集广播,主要分为广播变量,广播维表(数据集)两种,一种为变量,一种为常量(抽象的说法);一.数据广播背景对于小变量,小数据集,需要和大数据集,大流进行联合计算的时候,往往把小数据集广播出去,整体直接和大数据集(流)的分布式最小粒度数据进行计算,最后把计算结果合并,这样效率更高,省去分布式节点之间的数据传输及二次计算。例如:在Flink使用场景中,外部的配置文件或计算规则及维表等进行预加载,并定期更新,流式计算中广播小变量等场景。数据集的广播,主要有以下几种方式可以实现1.预加载在原创 2021-08-11 22:46:00 · 1235 阅读 · 0 评论 -
Flink 部署模式,session 、pre job、aplication三种主要模式
长久以来,在YARN集群中部署Flink作业有两种模式,即Session Mode和Per-Job Mode,而在Flink 1.11版本中,又引入了第三种全新的模式:Application Mode。本文先回顾两种传统模式的做法与存在的问题,再简要介绍Application Mode。传统部署模式Session模式Session模式是预分配资源的,也就是提前根据指定的资源参数初始化一个Flink集群,并常驻在YARN系统中,拥有固定数量的JobManager和TaskManager(注意JobMa原创 2021-08-11 22:43:31 · 5182 阅读 · 0 评论 -
Flink重启策略 flink出现异常重新拉起任务
重启策略概念:Flink支持不同的重启策略,可以控制在发生故障时如何重启新启动作业。重启策略分类:重启策略 重启策略值 描述 默认值 Fixed delay fixed-delay 尝试一个给定的次数来重启Job,如果超过了最大的重启次数,Job最终将失败。 启用 checkpointing,但没有配置重启策略,则使用固定间隔 (fixed-delay) 策略,默认值为Integer.MAX_VALUE Failure rate failure-原创 2021-08-11 22:38:04 · 2289 阅读 · 0 评论