![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink
dinghua_xuexi
这个作者很懒,什么都没留下…
展开
-
Flink中的Window操作
概念WindowStream流数据是源源不断,永无止境的,而我们一般将这些流数据按照一定规则划分成一段一段的有限范围,比如按照一定数量切分,或者按照时间窗口切分。这样就将整体的无限,转化成了一段段连续(有时候会有重叠)的有限,这样我们才有能力去处理它,并且也符合实际的需求,比如每5分钟活跃人数,新增人数,转化率等等。Window Functionswindow function 包含了作用于window范围内数据的计算逻辑,主要有ProcessWindowFunction,ReduceFu.原创 2020-08-04 10:52:02 · 568 阅读 · 0 评论 -
Flink中reduce的4种方式
def main(args: Array[String]): Unit = { val env = ExecutionEnvironment.getExecutionEnvironment val path = this.getClass.getResource("/data.txt").getPath val text = env.readTextFile(path).setParallelism(2) val group_ds = text.flatMap(_.spli.原创 2020-08-03 16:02:12 · 4224 阅读 · 0 评论 -
Flink自定义并行读取Mysql数据
自定义Source概述自定义Source是Flink学习中非常重要的一环,一般实现一个Source,可以继承下面几个类之一SourceFunctionRichSourceFunctionParallelSourceFunctionRichParallelSourceFunction前两个是单并行度,后2个是多并行度,无论是否多并行度,我们一般选择带Rich的SourceFunction, 也就是RichSourceFunction和RichParallelSourceFunction,这原创 2020-08-03 11:44:38 · 2602 阅读 · 1 评论 -
Flink中对keyBy的探究
0 摘要 在Flink实时流数据处理中,经常用到keyBy算子, 虽然能够大致不差的使用它,实现自己的需求。然而这个算子到底做了什么事情,心里一直没有底。这篇文章算是对keyBy算子稍微深入一点的探究。1 Spark中的按key分组操作 对于经常使用spark的同学而言,分组操作数据,那是再熟悉不过。比如groupBy, reduceBy, aggregateBy等一系列算子。基本思路都是指定key之后, 将相同key的元素集合到一个集合里面,形成一个新的集合元素,...原创 2020-08-01 18:33:17 · 20740 阅读 · 9 评论