flink
大数据小蜗牛
大家好,我是大数据小蜗牛,博主会不定期在博客上更新在大数据开发的过程中遇到的问题以及解决方案,大家喜欢的话点击关注哦!!!
展开
-
关于flink的重启策略学习
一、Flink支持不同的重启策略,这些重启策略控制着job失败后如何重启。集群可以通过默认的重启策略来重启,这个默认的重启策略通常在未指定重启策略的情况下使用,而如果Job提交的时候指定了重启策略,这个重启策略就会覆盖掉集群的默认重启策略。二、常用的重启策略 固定间隔 (Fixed delay) 对应的值:fixed-delay 失败率 (Failure rate)...原创 2019-01-03 15:57:43 · 386 阅读 · 0 评论 -
关于structured streaming和flink中的watermark理解
structured streaming和flink中的watermark指的是一个意思,顾名思义,就是提高数据的水位线,下面以structured streaming为例,说说小编对watermark的理解1、如图所示,代表着每隔五分钟处理过去十分钟的数据,即窗口长度是十分钟,滑动间隔是五分钟,watermark的值是十分钟2、如图中,12:15~12:20这个batch获取的数据共...原创 2019-01-16 11:49:21 · 794 阅读 · 0 评论 -
flink的检查点(checkpoint)和保存点(savepoint)的区别
一、检查点:检查点屏障跟普通记录一样。它们由算子处理,但并不参与计算,而是会触发与检查点相关的行为。会在算子之间流动。当读取输入流的数据源遇到检查点屏障时,它将其在输入流中的位置保存到稳定存储中。如果输入流来自消息传输系统(Kafka 或 MapR Streams),这个位置就是偏移量。Flink 的存储机制是插件化的,稳定存储可以是分布式文件系统,如HDFS、S3 或 MapR-FS如图...原创 2019-03-12 19:30:02 · 9410 阅读 · 1 评论