flink
文章平均质量分 77
D调的Stanley
这个作者很懒,什么都没留下…
展开
-
flink checkpoint恢复测试
测试代码order 样例类package com.stanley.checkpoint/** * Created by admin on 2020/7/7. */case class Order(id:Int,category:String,price:Double)主函数package com.stanley.checkpointimport java.util.Propertiesimport org.apache.flink.api.common.funct原创 2020-07-08 10:06:49 · 1089 阅读 · 0 评论 -
flink 三种方式实现wordcount
sum在对datastream keyby后使用sum函数聚合package com.stanley.wordcountimport org.apache.flink.streaming.api.scala.{DataStream, StreamExecutionEnvironment}import org.apache.flink.api.scala._/** * Created by admin on 2020/7/2. */object SumWordCount {原创 2020-07-02 17:50:51 · 691 阅读 · 0 评论 -
flink EventTime中watermark详解
flink在对流数据进行窗口操作时,当eventtime在过了窗口时间后会进行关窗操作。然后在实际生产环境中,由于网络等各种各样的原因可能会出现迟到数据,导致数据乱序。如下图所示,圆圈里的数字代表时间,这时候如果对数据进行一个5秒的滚动窗口操作,当第6秒的数据进入时,系统会讲0-5秒的窗口关闭,这时候4秒的数据就会丢失。遇到这种情况除了调用allowedLateness和侧输出流外,还可以使用watermater...原创 2020-06-26 13:17:56 · 539 阅读 · 0 评论