Flink
文章平均质量分 54
flink
xkxdqj
这个作者很懒,什么都没留下…
展开
-
Flink对keyBy汇总后的数据排序
val env = StreamExecutionEnvironment.getExecutionEnvironment env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime) env.setParallelism(1) val sourceStream = env.fromCollection(List( "a,1646150400000", "a,1646150403000",.原创 2022-03-02 17:28:31 · 3882 阅读 · 0 评论 -
Flink 窗口函数
函数举例 聚合原理 使用举例 小结 增量窗口函数 ReduceFunction、AggregateFunction 窗口内保存一个中间聚合结果,随着新元素的加入,不断对该值进行更 新。好处是节省空间 使用keyBy的情况举例: window(...) .keyby(_._1) .aggregate(new AggregateFunction{ ... },new k...原创 2022-02-19 22:38:31 · 783 阅读 · 0 评论 -
Flink CEP greedy理解
使用greedyval env = StreamExecutionEnvironment.getExecutionEnvironmentval input = env.fromElements("a", "aa", "aaa","bbb","ccc","cc")val pattern = Pattern.begin[String]("a-label").where(s => s.startsWith("a")).oneOrMore .next("b-label").where(s =.原创 2022-02-19 20:47:54 · 978 阅读 · 2 评论 -
Flink 富函数与processFunction
与普通函数比较 使用场景 富函数 1.可以获取运行环境的上下context(getRuntimeContext由AbstractRichFunction抽象类 提供) 2.生命周期方法(open初始化函数 在每一个thread启动的时候调用一次) 3.管理状态(状态与算子绑定) 使用Map,Filter....算子的时候传入 processFunction 如果业务比较复杂,通过Flink提供这些算子无法满足我们...原创 2022-02-07 02:10:39 · 1181 阅读 · 0 评论 -
bigdata问题汇总
0.flink笔记Flink/Flink超神文档.pdf · 海阔天空/BigData - Gitee.com1.idea右键新建(new) 但是没有Scala class选项参考:idea右键新建(new) 但是没有Scala class选项_xuebahuobao的博客-CSDN博客_idea new 没有scala1.首先是检测下自己是否有在idea上安装Scala插件,在File--Settings-Plugins中直接搜索Scala,如果没安装的话就直接install就好啦;2.查看下转载 2022-01-16 23:42:26 · 391 阅读 · 0 评论 -
Flink实时销售宽表构建
Flink 实时宽表原创 2021-12-09 00:40:41 · 3520 阅读 · 0 评论 -
Flink groupBy和KeyBy的区别
groupBy用于批计算(DataSet),keyBy用于流计算(DataStream)原创 2022-01-12 23:37:08 · 1769 阅读 · 0 评论