flink
文章平均质量分 61
~花卷~
这个作者很懒,什么都没留下…
展开
-
Flink之窗口函数WindowFunction
前言本文主要讲解下窗口函数:ReduceFunction,AggregateFunction,ProcessWindowFunctionReduceFunction是个增量计算的算子,数据来一条算一条,要求入参和出参类型一致这个要求导致条件苛刻。没有aggregate好用~直接看代码:模拟订单,计算10s滚动窗口订单金额~~~使用起来比较简单的package com.realtime.flink.functionimport com.realtime.flink.dto.OrderDtoim原创 2021-03-30 23:43:59 · 325 阅读 · 0 评论 -
Flink自定义evictor
前言前一篇文章大概讲了下自定义Trigger窗口触发器,本文讲述下Evictor窗口数据驱逐器的使用。Evictor作用:用来剔除窗口中的数据。举个例子: 去统计订单中每个窗口中订单金额大于4的订单。这个正常情况下会用个filter或者flatmap算子去做过滤。为了演示效果也可以用evictor去实现~evictor中有两个方法:/** * Optionally evicts elements. Called before windowing function. * * @param原创 2021-03-30 23:05:28 · 487 阅读 · 0 评论 -
GlobalWindow之自定义Trigger (一)
前言之前看到GlobalWindow需要自己定义trigger,写了个测试用例简单实现了下。背景前面文章讲到了窗口,在窗口中我们一般都会去使用api中定义好的滑动滚动窗口等等。但在一些特殊场景下,我们需要自定义去实现窗口的定义以及窗口的触发。举个例子:如何去实现1min窗口的每10s输出一次该窗口的值。比如在10:00-10:10中每隔10s输出这个窗口的总和。Trigger今天主要讲下以下三个方法: /** * Called for every element that gets add原创 2021-03-29 00:45:15 · 611 阅读 · 3 评论 -
Flink 时间语义、水印、窗口
一、前言本文主要关于Flink1.12.0中关于时间语义,watermark,以及windows的一些使用和理解。二、背景准备重新梳理下flink的相关应用,以及flink源码解读,更深入的了解和学习下flink的使用。开始部分文章会写flink应用层的使用,以及一些代码例子。后面会针对源码进行一个剖析~~三、时间语义、watermark在flink中时间语义分为两种1、eventtime 事件时间,可以理解这条记录产生的时间 ,一般都是在记录的某个字段里。2、processtime 处理时间原创 2021-03-25 23:50:59 · 230 阅读 · 0 评论