flink常用滚动聚合算子

最新推荐文章于 2023-04-20 00:00:00 发布

逆风飞翔的小叔

最新推荐文章于 2023-04-20 00:00:00 发布

阅读量3k

点赞数

分类专栏： flink 入门到精通文章标签： flink 大数据 big data

本文链接：https://blog.csdn.net/congge_study/article/details/122459263

版权

flink 入门到精通专栏收录该内容

39 篇文章 36 订阅 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

前言

在很多业务场景下，我们需要对读取到的数据根据业务字段做聚合、统计甚至计算等操作，因此flink提供了基于KeyedStream 的丰富的滚动聚合算子满足多种业务场景下的聚合统计需求

下面来看看几种常用的滚动聚合算子API操作

环境准备

1、准备一个外部文件，用于程序读取

这里在工程的resources目录下，准备一个sensor.txt文件，内容如下

编码实现

需求说明，读取上述文件中的每行数据，按照第一个字段分组，求第三个字段的最大值

import com.congge.source.SensorReading;
import org.apache.flink.api.java.tuple.Tuple;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.KeyedStream;
import org.apache.flink.s

了解本专栏

订阅专栏解锁全文

超级会员免费看

优惠劵

逆风飞翔的小叔

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
flink常用滚动聚合算子

flink常用滚动聚合算子
复制链接

扫一扫

专栏目录

订阅专栏

Flink 自定义算子读取MySQL (scala源代码)

06-29

Flink 自定义算子读取MySQL (scala源代码)

链路聚合理论

xy_1212的博客

08-11

423

链路聚合端口绑定技术链路聚合/端口聚合/端口绑定实现的条件：（单臂路由技术）端口聚合又称链路捆绑二层链路聚合命令：总结端口绑定技术链路聚合（Link Aggregation）是将一组物理接口捆绑在一起作为一个逻辑接口来增加带宽的一种方法，又称为多接口负载均衡组（Load sharing Group）或链路聚合组（Link Aggregation Group），通过在两台设备之间建立链路聚合组，可以提供更高的通讯带宽和更高的可靠，链路聚合不仅为设备间通信提供了冗余保护，而且不需要对硬件进行升级。链路聚合

参与评论您还未登录，请先登录后发表或查看评论

伦理网站_数据收集的伦理

热门推荐

weixin_26752765的博客

09-13

20万+

伦理网站So you’re ready to collect some data and start modeling, but how can you be sure that your data has been ethically sourced? 因此，您已经准备好收集一些数据并开始建模，但是如何确定您的数据是从道德上获得的呢？ CW: I talk about mental healt...

第二十一篇：伦理/道德Ethics

flying_1314的博客

06-20

7071

什么是伦理/道德？我们应该如何生活——苏格拉底 • 正确的做法是什么？ • 为什么？

flink中滚动聚合算子-max和maxBy的区别

qq_29494693的博客

11-27

437

代码 public class Test2_RollingAggregation { public static void main(String[] args) throws Exception { StreamExecutionEnvironment executionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment(); executionEnvironment.setParalle

JavaFlink原理、实战、源码分析（二）原理部分

qq_36250202的博客

04-13

949

JavaFlink原理、实战源码分析(一)https://blog.csdn.net/qq_36250202/article/details/112978869 第六章 Flink 中的 Window 主要内容 • window 概念 • window 类型 • window API 6.1 Window 6.1.1 Window 概述 streaming 流式计算是一种被设计用于处理无限数据集的数据处理引擎，而无限数据集是指一种不断增长的本质上无限的数据集，而 window 是一种切割.

Flink实时读取Kafka数据批量聚合（定时按数量）写入Mysql.rar

12-27

Flink实时读取Kafka数据批量聚合（定时/按数量）写入Mysql源码+kafka安装包+zookeeper安装包

史上最全最详细的flink 中文教程(一千多页pdf).pdf

11-05

最全最详细的flink 中文教程,详细介绍各个接口,并附带demo(一千多页pdf) 最全最详细的flink 中文教程,详细介绍各个接口,并附带demo(一千多页pdf)

flink-sql集成rabbitmq

06-29

flink-sql集成rabbitmq

flink算子使用

qq_45255036的博客

04-07

381

一.flink读取数据的几种方式 1.1读取本地文件 // 创建批处理的执行环境 val env: ExecutionEnvironment = ExecutionEnvironment.getExecutionEnvironment // 从文件读取数据 val inputDataSet: DataSet[String] = env.readTextFile("inp...

Flink入门第四课：flink的增量聚合函数min/max/minBy/maxBy/reduce

曹利荣的博客

08-12

968

匿名内部类方式 package com.atguigu.Adatastream_api.transformations; import org.apache.flink.api.common.functions.RichFilterFunction; import org.apache.flink.api.common.functions.RichFlatMapFunction; import org.apache.flink.api.common.functions.RichMapFunction.

Flink-Scala版学习——转换算子

Helen_1997_1997的博客

04-20

587

Flink-Scala版学习——转换算子

flink实战—时间窗口(Time Windows)的原理和使用

zg_hover的专栏

02-18

3万+

概述 flink中支持多种窗口，包括：时间窗口，session窗口，count窗口等，本文简单介绍这些窗口的原理，并通过例子说明如何使用这些窗口。时间窗口(Time Windows) 最简单常用的窗口形式是基于时间的窗口，flink支持两种时间窗口：一种是翻滚时间窗口(tumbling time window) 一种是滑动时间窗口(sliding time window) 翻滚时间窗口(t...

flink的算子之transform算子

qw3276425405的博客

05-31

962

一.flink算子的执行过程 env -> source -> transform -> sink 3.transform算子转换算子，把当前的DataStream转化为另一个DataStream 1）简单转换算子（DataStream）不涉及到分组，不涉及拆分与合并，可以以one-to-one传递数据的流前提：在虚拟机开启8888端口，在端口发送数据，在控制台进行接收原数据 nc -lk 8888 注意：转换算子需要用到隐式转换 import org.ap.

Flink自定义数据源（scala实现）

m0_51113511的博客

03-24

546

import org.apache.flink.streaming.api.scala._ case class SensorReading(id: String, timestamp: Long, temperature: Double) //样例类对象 object Sensor { def main(args: Array[String]): Unit = { val env = StreamExecutionEnvironment.getExecutionEnvironment

【Flink Scala】Flink流处理API

HR的博客

03-24

642

Flink流处理APIEnvironmentSource从集合读取数据从文件读取数据从Kafka读取数据自定义Source转换算子Transformmap算子flatMap算子Filter算子keyBy算子滚动聚合算子reducespilt和select算子collect和CoMap算子Union算子 Environment 创建一个执行环境，表示当前执行程序的上下文。如果程序是独立调用的，则此方法返回本地执行环境；如果从命令行客户端调用程序以提交到集群，则此方法返回此集群的执行环境，也就是说，get

flink的transform方法

xuehuagongzi000的博客

10-31

511

1、简单转化算子(map,flatmap,filter这些)datastream和keyedStream都可以有，但是datastream没有聚合算子，只有keyedStream才有。键值转换后的才有滚动聚合算子sum(),min(),max() ,minBy(),maxBy()，reduce() 2、键值转换后的才有滚动聚合算子sum(),min(),max() ,minBy(),maxBy() min是来一条数据就和历史数据比较，然后输出最小值，格式还是SensorReading类型，如果取min(

Flink API - 键控流转换算子与滚动聚合算子

weixin_44760145的博客

02-19

306

Flink keyBy 和聚合算子

flink 批处理，上游算子已经结束，下游算子一直在运行

“相关推荐”对你有帮助么？

非常没帮助
没帮助
一般
有帮助
非常有帮助

提交