Flink窗口函数
Flink窗口函数
cts618
人工智能高级工程师
展开
-
Union测试案例实战
import org.apache.flink.streaming.api.scala._import scala.collection.mutable.ListBufferobject UnionDemo { def main(args: Array[String]): Unit = { val env = ExecutionEnvironment.getExecutionEnvironment val data1 = ListBuffer[Tuple2[Int,String.原创 2022-03-04 15:08:36 · 121 阅读 · 0 评论 -
leftOuterJoin
leftOuterJoinpackage com.cnic.flink.dataset.codingimport org.apache.flink.api.scala.ExecutionEnvironmentimport org.apache.flink.streaming.api.scala._import scala.collection.mutable.ListBufferobject leftOuterJoin { def main(args: Array[String]): .原创 2022-03-04 14:53:31 · 354 阅读 · 0 评论 -
Aggregate算子求最大值
package com.cnic.flink.dataset.codingimport org.apache.flink.api.java.aggregation.Aggregationsimport org.apache.flink.api.scala.{AggregateDataSet, DataSet, ExecutionEnvironment}import org.apache.flink.streaming.api.scala._import scala.collection.muta.原创 2022-03-04 14:33:32 · 1922 阅读 · 0 评论 -
Flink中窗口的触发条件
Flink中窗口的触发条件:1、watermark时间 >= window_end_time2、在[window_start_time,window_end_time)中有数据存在原创 2022-03-04 09:33:19 · 2040 阅读 · 0 评论 -
Flink结合布隆过滤器(BloomFilter)去重项目实战
测试数据:2021-01-24 15:00:01,user1,act01,view2021-01-24 15:00:02,user1,act01,view2021-01-24 15:00:05,user1,act01,join2021-01-24 15:00:02,user2,act01,view2021-01-24 15:00:05,user2,act01,join2021-01-24 15:00:02,user3,act02,view2021-01-24 15:00:05,user3,原创 2022-03-03 16:10:45 · 1480 阅读 · 0 评论 -
Caused by: java.lang.NoClassDefFoundError: javax/tools/ToolProvider
解决方案:在pom文件中的scala-maven-plugin插件下面加入一个参数:pom.xml配置如下:<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http原创 2022-02-23 15:55:09 · 1406 阅读 · 3 评论 -
Flink窗口函数
2.1 窗口函数的分类2.2 增量聚合函数2.2.1 ReduceFunction2.2.1.1 业务需求2.2.1.2 源码①增量聚合函数 →窗口中的元素从第二个开始,每进入一个元素,就会执行一次;然后将迄今为止执行的结果与新的元素进行比较,获得最新的值。以此类推,直到窗口关闭,触发sink操作。 →适用场景:窗口中的元素体量大,否则,容易导致OOM的发生。 →特点:不需要记录窗口中所有的元素,只需要保留迄今为止增量计算的结果即可。②全窗口函数 → 待到窗口关闭后,窗口中所有的元素然后一起进行计算,触发s原创 2021-06-19 06:36:45 · 375 阅读 · 0 评论