- 博客(5)
- 收藏
- 关注
RSS订阅原创 flink-watermark（水印）
一、什么是flink-watermark（水印）1.1官方字面介绍Flink-watermark（水印）的本质是DataStream中的一种特殊元素，每个水印都携带有一个时间戳。 当时间戳为T的水印出现时，表示事件时间t <= T的数据都已经到达，即水印后面应该只能流入事件时间t > T的数据。 也就是说，水印是Flink判断迟到数据的标准，同时也是窗口触发的标记。1.2代码层面public final class Watermark extends StreamElement
2020-06-23 12:23:39
2337
原创 flink-runtime架构
一、flink是什么？二、flink on yarn作业提交流程1、未引入 Dispatcher 的架构2、引入 Dispatcher 的架构ResourceMangerTaskManagerTaskManger 和 ResourceManager 的交互TaskManager 和 JobManager 的交互JobManager SlotPoolDispatcher三、Standalone 模式的架构总览四、资源分配详解1、请求新的 TaskManager 的 slot 分配流程
2020-06-23 12:10:26
275
原创 shell删除文本文件中的空格
shell删除文本文件中的空格sed ‘s/ //g’ file1 > file2欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑...
2019-11-06 20:12:45
1750
转载 flink的exrat_once机制实现原理
引言flink提供了能够保持一致地恢复数据流应用的状态的一种容错机制，这种机制保证即使在故障持续发生的情况下，程序的状态最终依然会从数据流中产生并且保证exactly once，即正好一次的语义。容错机制持续不断地从分布式数据流中提取snapshot快照，对于状态小small state的数据流应用，这些快照是非常轻量级的并且频繁的提取下不会对系统性能造成太大的影响。流应用的状态保存在一个可配...
2019-04-08 19:41:16
207
原创 限制spark输出往hdfs写success文件
提交spark任务前进行设置即可： sc.hadoopConfiguration.set(“mapreduce.fileoutputcommitter.marksuccessfuljobs”, “false”)
2018-07-31 16:03:11
2748
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人