【FLINK】浅谈Flink中min()和minBy()的区别

最新推荐文章于 2024-08-07 18:02:34 发布
最新推荐文章于 2024-08-07 18:02:34 发布
阅读量796 收藏 1
点赞数
分类专栏： 温故而知新 文章标签： flink 大数据 big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40180229/article/details/123191273
版权

min(field) -> 只会返回指定参数field的最小值，但是不一定是最小值的那条记录数据，可能会是最新的数据拼接上最小值进行输出

minBy(field) -> 返回指定参数field的最小值，也是最小值的记录数据

SmallScorpion
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flink ,Min MinBy Max MaxBy sum实例
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
06-15 1302
.min(0) //找最小值，返回一个tuple元素（可能是源头不存在的元素），属性0是窗口内所有元素的属性0的最小值，属性1是窗口内第一个tuple的属性1值 .min(1) //找最小值，返回一个tuple元素（可能是源头不存在的元素），属性0是窗口内第一个tuple的属性0值，属性1是窗口内所有元素的属性1的最小值 .minBy(0)//找属性0值最小的元素，返回一个tuple元素，属性0、属性1均是窗口内属性0值最小的元素值 .minBy(1)//找属性1值最小的元素，返回一个tuple元素，属性.
详解 Flink DataStream中min(),minBy(),max(),max()之间的区别
不跟风的程序员
06-10 1316
解释 官方文档中: The difference between min and minBy is that min returns the minimum value, whereas minBy returns the element that has the minimum value in this field (same for max and maxBy). 翻译: min和minBy之间的区别是min返回最小值，而minBy返回在此字段中具有最小值的元素（与max和maxBy相同）。
Flink入门第四课：flink的增量聚合函数min/max/minBy/maxBy/reduce
曹利荣的博客
08-12 988
匿名内部类方式 package com.atguigu.Adatastream_api.transformations; import org.apache.flink.api.common.functions.RichFilterFunction; import org.apache.flink.api.common.functions.RichFlatMapFunction; import org.apache.flink.api.common.functions.RichMapFunction.
flink中min和minby区别 同理 max和maxby区别
知其然，知其所以然
04-28 4982
flink中min和minby区别一.min和minby介绍二.min和minby介绍代码演示三.同理max和maxby 一.min和minby介绍 max、min、sum 会分别返回最大值、最小值和汇总值；而 minBy 和 maxBy 则会把最小或者最大的元素全部返回。 Aggregations 为聚合函数的总称，常见的聚合函数包括但不限于 sum、max、min 等。Aggregatio...
Flink DataStream之min()与minBy()，max()与maxBy()区别详解
Aimo_哈撒的博客
11-26 2105
在Flink中有一类滚动聚合的算子（Rolling Aggregation）： sum()、min()、minBy()、max()、maxBy() 其中，对于min()和minBy()，max()和maxBy()之间的区别，具体如下： 1、处理的数据只有两个字段： 即：只有分组字段和比较字段， 如城市温度数据(city，temp)，其中city用来分组（keyBy），temp用来比较（min/minBy）， 那么，此时min()和minBy()的作用是一样的，都是得到比较字段的最小值。案例代码如
[Flink1.12版本]通过源码分析min和minBy算子的区别
MyNameIsWangYi的博客
04-22 341
主要区别： keyby可以传入两个参数 ①比较的值的位置 ②布尔值；min只能传入一个参数 而二者真正的区别就是第二个参数，keyby的第二个参数为false且两次输入的数据值相等的时候，可以更新为最新字段，如a,a,1 a,b,1得到的结果是a,b,1，第二个参数默认值为true，是true就会返回原先的值。下图是通过debug的结果（值1是原先的值，值2是输入的新值）： 注：o1是已经存在的值，o2是输入值，源码中是将o1与o2进行比较 public class MinByDemo { p
Flink 系例 之 MinBy
不会飞的小龙人的博客
03-14 1482
minBy聚合：获取一组数据流算子中最小的记录行（和min的区别，min是返回计算字段的最小值） 示例环境 java.version: 1.8.x flink.version: 1.11.1 示例数据源（项目码云下载） Flink 系例 之 搭建开发环境与数据 MinBy.java import com.flink.examples.DataSource; import org.apache.flink.api.common.typeinfo.Types; import org.apa..
flink之算子 min 和minBy 有什么区别??
m0_48624662的博客
10-12 792
网上找的答案和官方文档表述的都不太易懂... * Author: hjm * Date: 2019/01/10 15 09 * Description: * 直接上结论吧: * 假设当一个filed有多个字段时 province city money * min 将会把最小的记录的分组字段(这里是province)& 比较字段(money)进行返回 * 而其他字段(city)将保留第一次出现的值 * 命令行输入:nc -lk 8888 * 例如输入以下数据: * -------..
浅谈Flink分布式运行时和数据流图的并行化
01-07
本文将以WordCount的案例为主线，主要介绍Flink的设计和运行原理。关于Flink WordCount程序...麻雀虽小，五脏俱全，从这个样例中，我们可以一窥Flink设计和运行原理。 图 1 Flink样例程序示意图 如图 1所示，程序分为
flink中的时间语义和水位线及迟到处理
03-30
### Flink中的时间语义、水位线及迟到数据处理详解 #### 一、窗口的作用与分类 **1.1 窗口的作用** 在Flink的流处理中，窗口是一种重要的机制，它将无限的数据流分割成有限的片段来进行处理。这种分割使得流处理...
Flink 中文文档资料.zip
01-17
flink Flink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料...
大数据开发｜Flink中的窗口分类和生命周期
11-06
总的来说，Flink 中的窗口机制是其处理无界数据流的核心特性之一，它提供了强大而灵活的数据处理方式，使得开发者能够应对各种实时分析和流处理的挑战。理解并熟练运用这些窗口类型，对于提升 Flink 应用的性能和...
flink中文教程.zip
03-02
Flink中文教程主要涵盖了分布式流处理框架Apache Flink的核心概念、使用方法以及实践案例，旨在帮助初学者和开发者深入理解并熟练运用Flink。以下是对这些主题的详细阐述： 1. **概念**： - **流处理**：Flink是一...
Flink
LvJinYang的博客
10-22 2551
Flink 概述 之前的流处理都是以微批的形式来处理流，延迟较高 Flink 是构建在数据流之上的有状态的计算框架（structure Streaming也有状态）第三代大数据分析方案 2013年7月Storm开始在Apache孵化，2014年9月Storm成为Apache顶级项目（发展缓慢）。成为了当时最为主流的实时流处理框架。Storm以其低延迟高吞吐以及精准一次语义的处理，迅速的在各大互联网...
Flink深入学习与介绍【下】
Moody的博客
08-05 361
六、Time与Window 6.1 Time 在Flink的流式处理中，会涉及到时间的不同概念，如下图所示： ① Event Time：是事件创建的时间。它通常由事件中的时间戳描述，例如采集的日志数据中，每一条日志都会记录自己的生成时间，Flink通过时间戳分配器访问事件时间戳。 ② Ingestion Time：是数据进入Flink的时间。 ③ Processing Time：是每一个执行基于...
Flink 系例 之 Max
不会飞的小龙人的博客
03-14 2137
max聚合：获取一组数据流中最大的值 示例环境 java.version: 1.8.x flink.version: 1.11.1 示例数据源（项目码云下载） Flink 系例 之 搭建开发环境与数据 Max.java import com.flink.examples.DataSource; import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.common.type..
flink API学习
YiRan_Zhao的博客
10-20 660
flink
Flink中max maxby区别
m0_74903429的博客
03-30 161
取指定字段的当前的最大值，如果有多个字段，其他字段以最大值那条数据为准；：取指定字段的当前的最小值，如果有多个字段，其他字段以最大值那条数据为准；：取指定字段的当前的最大值，如果有多个字段，其他非比较字段，以第一条为准。：取指定字段的当前的最小值，如果有多个字段，其他非比较字段，以第一条为准。
【颠覆数据处理的利器】全面解读Apache Flink实时大数据处理的引擎-上篇
最新发布
KKwan的博客
08-07 996
Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink 被设计为在所有常见的集群环境中运行，以内存速度和任何规模执行计算。事件驱动的应用程序是一种有状态的应用程序，它从一个或多个事件流中提取事件，并通过触发计算、状态更新或外部操作对传入事件做出反应。事件驱动型应用程序是传统应用程序设计的演变，具有分离的计算层和数据存储层。在此架构中，应用程序从远程事务数据库读取数据并将数据保存到其中。相比之下，事件驱动型应用程序基于有状态的流处理应用程序。
Flink在数据湖中的批流一体化处理与应用场景解析
《【蓉荣】Flink在数据湖场景下的使用》是一篇深入探讨Flink在大数据处理领域，特别是在数据湖环境中的应用和技术细节的文章。以下是主要知识点的详细阐述： 1. **批流统一的大数据处理引擎**：Flink作为一个强大的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值