Flink实战案例（二十）：自定义时间和窗口的操作符（一）KeyedProcessFunction

已于 2022-06-30 22:58:10 修改
阅读量580 收藏
点赞数
分类专栏： Flink系统性学习专栏 文章标签： flink scala 大数据
于 2021-01-20 13:43:16 首次发布
原创文章禁止转载。否则追究法律后果。
本文链接：https://blog.csdn.net/u013411339/article/details/112863216
版权
本文详细介绍了在Flink中如何指定数据的key，包括使用Tuples、Field Expression和Key Selector Functions三种方式。对于Tuples，重点讲述了如何通过元素位置和联合元素设定key，并注意Flink中下标的差异。Field Expression适用于类对象和嵌套Tuple，强调了类和字段的访问限制。而Key Selector Functions提供了一种灵活选择key的方法。
摘要由CSDN通过智能技术生成

前言

在Flink中比如某些算子（join,coGroup,keyBy,groupBy）要求在数据元上定义key。另外有些算子操作，例如reduce，groupReduce，Aggregate，Windows需要数据在处理之前根据key进行分组。

在Flink中数据模型不是基于Key,Value格式处理的，因此不需将数据处理成键值对的格式，key是“虚拟的”，可以人为的来指定，实际数据处理过程中根据指定的key来对数据进行分组，DataSet中使用groupBy来指定key,DataStream中使用keyBy来指定key。那么如何指定keys呢?

一.使用Tuples来指定key

定义元组来指定key可以指定tuple中的第几个元素当做key，或者指定tuple中的联合元素当做key。需要使用org.apache.flink.api.java.tuple.TupleXX包下的tuple,最多支持25个元素且Tuple必须new创建。

如果Tuple是嵌套的格式，例如：DataStream<Tuple3<Tuple2<Integer, Float>,String,Long>> ds，如果指定keyBy(0)则会使用内部的整个Tuple2作为key。如果想要使用内部Tuple2中的Float格式当做key，可以使用keyBy("f0

了解本专栏 订阅专栏 解锁全文 超级会员免费看
王知无(import_bigdata)
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
浅谈 Flink 窗口
天道酬勤
12-17 768
按以往的认知，为了处理数据的小范围延迟，可以在发射 watermark 的时候，使 watermark 的时间晚于事件时间多少 s 来实现，那么这里又设置了这个 api 的意思是？其中 trigger 是触发器，可以自定义窗口的触发规则，大部分情况下不需要定义，默认是随着数据的推动，水位线上升到了窗口的结束时间，则触发这个窗口的计算。如果说计算逻辑仍然过于复杂，那就需要使用 apply 了，这个方法可以通过一个迭代器，拿到窗口的所有数据，可以自定义任何逻辑计算，想怎么算就怎么算。
【Flink】自定义keyBy的KeySelector
一杯咖啡半杯糖的博客
12-08 1660
这个对象的类型，KEY为最后返回的key的类型，我们返回的是Product对象的name值，是String类型，直接实现getKey这个类，返回Product对象的name值即可实现。来看最后的实现，通常我们不论是从哪个数据源传到flink中的数据（通常是kafka），我们会把数据转化为一个对象，红色部分就是自定义的KeySelector
Flink中指定Key的几种方式
SmallCatBaby的博客
07-12 1797
前言 在Flink中比如某些算子（join,coGroup,keyBy,groupBy）要求在数据元上定义key。另外有些算子操作，例如reduce，groupReduce，Aggregate，Windows需要数据在处理之前根据key进行分组。 在Flink中数据模型不是基于Key,Value格式处理的，因此不需将数据处理成键值对的格式，key是“虚拟的...
Flink1.12使用KeyedProcessFunction实现温度监控（案例一）
RonieWhite的博客
03-16 1889
最近在哔站学习武老师Flink的教程，受益匪浅。其中关于Flink的一些案例，非常有意思，故记录下来。分享给感兴趣的朋友。 本次案例的场景是：假设有n个传感器，其温度值被记录下并灌到Kafka的主题里。我们需要读取这些数据并分析之，在10s内如果该温度值持续上升，则抛出警告信息。 实现方式：因为要在“指定时间内”温度“持续上升”，需要获取上下文状态，且需包含一个定时器的功能去指定一段时间，因此考虑到使用ProcessFunction，而因为要对n个传感器进行分组处理，所以考虑使用KeyedProc.
Flink:时间和窗口
最新发布
weixin_52635513的博客
07-12 283
flink时间和窗口介绍
Flink实战案例（二十一）：自定义时间和窗口的操作符（二）KeyedProcessFunction（二）
微信搜：import_bigdata，大数据领域硬核原创作者
01-21 742
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 KeyedProcessFunction 　　KeyedProcessFunction用来操作KeyedStream。KeyedProcessFunction会处理流的每一个元素，输出为0个、1个或者多个元素。所有的Process Function都继承自RichFunction接口，所以都有open()、close()和getRuntimeContext()等方法。而KeyedProce
Flink实战案例（二十二）：自定义时间和窗口的操作符（三）CoProcessFunction
微信搜：import_bigdata，大数据领域硬核原创作者
01-21 733
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 CoProcessFunction 　　对于两条输入流，DataStream API提供了CoProcessFunction这样的low-level操作。CoProcessFunction提供了操作每一个输入流的方法: processElement1()和processElement2()。 　　类似于ProcessFunction，这两种方法都通过Context对象来调用。这个Cont
Flink实战案例（二十七）：自定义时间和窗口的操作符（八）窗口操作符（一）窗口分配器(window assigners)
微信搜：import_bigdata，大数据领域硬核原创作者
01-21 683
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 窗口分配的概念 窗口分配程序（Window Assigners）定义如何将元素分配给窗口。 通过window(...) (for keyed streams)或windowAll()for non-keyed streams)指定需要的WindowAssigner。 WindowAssigner负责将每个传入元素分配给一个或多个窗口。 Flink为最常见的用例提供了预定义的窗口分.
Flink实战案例（二十八）：自定义时间和窗口的操作符（九）窗口操作符（二）触发器(Triggers)
微信搜：import_bigdata，大数据领域硬核原创作者
01-21 542
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 触发器定义了window何时会被求值以及何时发送求值结果。触发器可以到了特定的时间触发也可以碰到特定的事件触发。例如：观察到事件数量符合一定条件或者观察到了特定的事件。 默认的触发器将会在两种情况下触发 处理时间：机器时间到达处理时间 事件时间：水位线超过了窗口的结束时间 　　触发器可以访问流的时间属性以及定时器，还可以对state状态编程。所以触发器和process function
Flink 系例 之 KeyedProcessFunction
不会飞的小龙人的博客
06-01 909
示例环境 示例数据源 （项目码云下载）Flink 系例 之 搭建开发环境与数据KeyedProcess.java 打印结果
大数据之Flink(7) | KeyedProcessFunction
Knight
11-16 326
需求：检测每一个传感器是否连续上升，在10秒钟内 import learning.SensorReading import org.apache.flink.api.common.state.{ValueState, ValueStateDescriptor} import org.apache.flink.api.java.tuple.Tuple import org.apache.flink.streaming.api.functions.KeyedProcessFunction import org.
Flink中对keyBy的探究
热门推荐
dinghua_xuexi的专栏
08-01 2万+
0 摘要 在Flink实时流数据处理中，经常用到keyBy算子, 虽然能够大致不差的使用它，实现自己的需求。然而这个算子到底做了什么事情，心里一直没有底。这篇文章算是对keyBy算子稍微深入一点的探究。 1 Spark中的按key分组操作 对于经常使用spark的同学而言，分组操作数据，那是再熟悉不过。比如groupBy, reduceBy, aggregateBy等一系列算子。基本思路都是指定key之后, 将相同key的元素集合到一个集合里面，形成一个新的集合元素，...
08ProcessFunction API（底层 API）——Flink
火麒马
07-12 215
之前学习的转换算子是无法访问事件的时间戳信息和水位线信息的，基于此，DataStream API 提供了一系列的 Low-Level 转换算子。可以访问时间 戳、watermark 以及注册定时事件。还可以输出特定的一些事件， Flink SQL 就是使用 Process Function 实 现的。 Flink 提供了 8 个 Process Function： ProcessFunction KeyedProcessFunction // keyby之后 的 可以操作keyStream CoP
Flink处理函数实战之三：KeyedProcessFunction类
程序员欣宸的博客
05-23 1万+
通过实战学习和了解处理函数的KeyedProcessFunction类
flink中的keyBy中的key
@coredao
04-03 534
这个key是虚拟key，没有实体，所以不会返回。 其是从进来的流数据中选取的字段。 关键看这个虚拟key是什么类型。 KeyedStream<Tuple3<String, String, Integer>, Tuple> keyedStream = map.keyBy(0); keyedStream.print(); KeyedStream<Tuple3<String, String, Integer>, String> KeyedStream5 = map.
Flink常用转换算子和自定义函数
Cxw1994的博客
08-26 993
  本篇文章主要介绍Flink中的常见转换算子、自定义函数和窗口函数 一、转换算子 1.单流输入 val env = StreamExecutionEnvironment.getExecutionEnvironment 1.1.map、filter：对流中的每个元素进行操作 env.fromElements(1,2,3,4,5,6) .map(_*10) .print() env.fromElements(1,2,3,4,5,6) .filter(_&
Flink大数据实时计算系列-第一个程序JAVA版本-分组统计 KeyedProcessFunction写法
段智华的博客
06-04 357
Flink大数据实时计算系列-第一个程序JAVA版本-分组统计 KeyedProcessFunction写法 Flink代码 ProcessFunction写法 package com.flinkniu.flink.operator; import org.apache.flink.api.common.functions.ReduceFunction; import org.apache.flink.api.java.tuple.Tuple; import org.apache.flink.api.ja
Apache Flink 零基础入门（七）Flink中keyBy三种方式指定key
chikoucha6215的博客
08-29 2818
keyBy 如何指定key 不管是stream还是batch处理，都有一个keyBy(stream)和groupBy(batch)操作。那么该如何指定key？ Some transformations (join, coGroup, keyBy, groupBy) require ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王知无(import_bigdata)

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值