![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink
文章平均质量分 61
~花卷~
这个作者很懒,什么都没留下…
展开
-
Flink之窗口函数WindowFunction
前言 本文主要讲解下窗口函数:ReduceFunction,AggregateFunction,ProcessWindowFunction ReduceFunction 是个增量计算的算子,数据来一条算一条,要求入参和出参类型一致这个要求导致条件苛刻。没有aggregate好用~ 直接看代码:模拟订单,计算10s滚动窗口订单金额~~~使用起来比较简单的 package com.realtime.flink.function import com.realtime.flink.dto.OrderDto im原创 2021-03-30 23:43:59 · 305 阅读 · 0 评论 -
Flink自定义evictor
前言 前一篇文章大概讲了下自定义Trigger窗口触发器,本文讲述下Evictor窗口数据驱逐器的使用。 Evictor 作用:用来剔除窗口中的数据。 举个例子: 去统计订单中每个窗口中订单金额大于4的订单。 这个正常情况下会用个filter或者flatmap算子去做过滤。为了演示效果也可以用evictor去实现~ evictor中有两个方法: /** * Optionally evicts elements. Called before windowing function. * * @param原创 2021-03-30 23:05:28 · 453 阅读 · 0 评论 -
GlobalWindow之自定义Trigger (一)
前言 之前看到GlobalWindow需要自己定义trigger,写了个测试用例简单实现了下。 背景 前面文章讲到了窗口,在窗口中我们一般都会去使用api中定义好的滑动滚动窗口等等。但在一些特殊场景下,我们需要自定义去实现窗口的定义以及窗口的触发。 举个例子:如何去实现1min窗口的每10s输出一次该窗口的值。比如在10:00-10:10中每隔10s输出这个窗口的总和。 Trigger 今天主要讲下以下三个方法: /** * Called for every element that gets add原创 2021-03-29 00:45:15 · 529 阅读 · 3 评论 -
Flink 时间语义、水印、窗口
一、前言 本文主要关于Flink1.12.0中关于时间语义,watermark,以及windows的一些使用和理解。 二、背景 准备重新梳理下flink的相关应用,以及flink源码解读,更深入的了解和学习下flink的使用。开始部分文章会写flink应用层的使用,以及一些代码例子。后面会针对源码进行一个剖析~~ 三、时间语义、watermark 在flink中时间语义分为两种 1、eventtime 事件时间,可以理解这条记录产生的时间 ,一般都是在记录的某个字段里。 2、processtime 处理时间原创 2021-03-25 23:50:59 · 216 阅读 · 0 评论