Flink之KeyedStream Transformations(键控流转换算子)和Multistream Transformations(多流转换算子)

最新推荐文章于 2023-02-19 00:19:37 发布
最新推荐文章于 2023-02-19 00:19:37 发布
阅读量502 收藏
点赞数
分类专栏： Flink入门及实战 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MissWYAN/article/details/108948142
版权

KeyedStream Transformations(键控流转换算子)

keyby

分流算子, 流的类型改变了

DataStream → KeyedStream

在这里插入图片描述
黑色去一条流，剩下的去另一条流

// 以数据的id为key分流
stream.keyBy(r => r.id)
// 以case class的word字段为key分流
stream.keyBy("word")
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Better~Me
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
【Flink】Flink实验特性--reinterpretAsKeyedStream 将DataStream重新解释为KeyedStream
九师兄
03-27 772
1.概述 1.1背景 这个实验特性应该是在Flink 1.5版本已经引进，但是直到现在（1.11）仍然是实验特性。官网对于它的描述 ：这个特性仍然在不断的优化，目前是可能是不稳定、不兼容的，并且在以后的版本甚至发生大的改变。 1.2 作用 将DataStream重新解释为KeyedStream，这种方式可以避免shuffle。 那么自然它的使用也会受到相应的约束，这个只能去重新解释那些已经预分区的DataStream。 1.3 官网例子 在源码中找到了这样一个测试代码，结果是：Tests passed .
05_Flink Streaming KeyedStream
codemosi的专栏，点击我可以跳到目录一栏
06-06 5621
KeyedStream继承了DataStream，是由datastream的keyBy()，产生的。表示按key的value分区过的流。在datastream的功能基础上，由添加了一些max,min等聚合的功能。 //1：聚合函数 1：aggregate，通过AggregationFunction实现类，实现各种数据聚合的功能 2：sum，数据累加 3：max，取最大数 4：mi
聊聊flink KeyedStream的reduce操作
weixin_34343000的博客
12-29 603
序 本文主要研究一下flink KeyedStream的reduce操作 实例 @Test public void testWordCount() throws Exception { // Checking input parameters // final ParameterTool params = ParameterTool.fromArgs(...
flink 流api 转换算子
OneSeek的博客
10-15 205
算子 map 输入一个数据流，输出一个数据流 转换 1：1 flatmap 转换 1:n / n:1 filter 过滤 计算每个元素的布尔函数，并保留那些函数返回真的元素。 返回true通过 返回false排除 keyBy(x) 基于 key 对流进行分区。使用 hash 函数对流进行分区，返回 KeyedDataStream 数据流 以数组的第x个元素作为key来分组 通过keyBy，DataStream→KeyedStream。 reduce reduce需要针对分组或者一个window(窗口)来执行
记一个flink keyedStream WindowFunction aggregate引发的问题
epitomizelu的专栏
06-08 289
使用flink实时计算各商品品类的同一天的销售总额，使用滚动窗口，窗口函数使用的增量聚合窗口，自定义AggregateFunction。 刚开始是这样定义的： private static class MyAggregate implements AggregateFunction<Tuple2<String,Double>, Double, Double> { double accumulator; @Override publi
Flink流处理之迭代案例
01-27
但是对于流处理（DataStream），Flink同样提供了对迭代的支持，这一节我们主要来分析流处理中的迭代，我们将会看到流处理中的迭代相较于批处理有相似之处，但差异也是十分之明显。 可迭代的流处理程序允许定义“步...
腾讯基于Flink的实时流计算平台演进之路
02-24
这次分享主要包含四个议题，会首先阐述一下腾讯在实时计算中使用Flink的历程，然后会简单介绍一下腾讯围绕Flink的产品化实践：我们打造了一个Oceanus平台，同时腾讯云也早已提供基于Flink的实时流计算服务，接着我们...
基于 Flink CDC 实现海量数据的实时同步和转换.pdf
03-21
基于 Flink CDC 实现海量数据的实时...Flink CDC 技术是实现海量数据的实时同步和转换的不二之选。Flink CDC 技术可以满足大规模数据的实时同步和转换需求，提供高吞吐、低延迟、高可扩展性和高可维护性的解决方案。
Flink 自定义算子 读取MySQL (scala源代码)
最新发布
06-29
Flink 自定义算子 读取MySQL (scala源代码)
配合状态(state)使用的键控流(KeyedDataStream)
唤不醒的梦
11-03 892
Keyed DataStream 键控流(KeyedDataStream)概念：在flink中数据集为DataStream，对其进行分区时，会产生一个KeyedDataStream，然后允许使用键控流的operator以及特有的state(如mapstate、valuestate等) 如果想使用key state，需要对DataStream指明一个key进行分区，也可以使用keyby创建一个KeyedDataStream，对这个KeyedDataStream可以使用keyed state。 keyby
Flink API - 键控流转换算子与滚动聚合算子
weixin_44760145的博客
02-19 328
Flink keyBy 和 聚合算子
Flink流数据采集笔记(四):各种Transform转换算子
YyyZzzLllx的博客
07-28 507
Flink的各种Transform转换算子
【4】flink window窗口算子
PacosonSWJTU的博客
04-21 2470
【README】 本文记录了 窗口算子操作； 本文使用的flink为 1.14.4 版本； 本文部分内容总结自 flink 官方文档： 窗口 | Apache Flink窗口 # 窗口（Window）是处理无界流的关键所在。窗口可以将数据流装入大小有限的“桶”中，再对每个“桶”加以处理。 本文的重心将放在 Flink 如何进行窗口操作以及开发者如何尽可能地利用 Flink 所提供的功能。下面展示了 Flink 窗口在 keyed streams 和 non-keyed streams 上使用的基本结构
Flink源码拾遗＜肆＞：WindowStream
Li_DeSheng的博客
11-19 1173
使用过WindowedStream的同学一定对WindowAssigner、trigger和evictor不陌生，可以说这三者共同定义了一个window流的核心，为什么这么说呢，我们打开WindowedStream类瞅一瞅 可以看到，WindowedStream类一共就只有六个属性，最核心的就是红线划出来的铁三角 其中： WindowAssigner定义了进入窗口流的element进入哪些窗口，创建窗口流时必须由用户传入 当Trigger被流中的事件触发时，Trigger会决定当前窗口是否进行.
Flink数据流类型之间的转换(WindowedStream、DataStream、KeyedStream、AllWindowStream之间的转换)
龙飞的博客
01-05 1464
🍊WindowedStream是一种特殊的流，其中数据已按时间或数据元素的键进行分组，并且每个分组的数据都在窗口中按时间划分。这意味着，如果你有一个WindowedStream，你可以对每个窗口执行转换，例如聚合或统计。🍊KeyedStream是一种特殊的DataStream，其中数据已按照一个键（通常是一个数值或字符串）进行分组。🍊DataStream是Flink中最基本的流类型，表示一个无界的、有序的数据流。它可以是任何类型的数据，例如数值、字符串或复杂的对象。
聊聊flink KeyedStream的intervalJoin操作
weixin_34247155的博客
01-11 424
序 本文主要研究一下flink KeyedStream的intervalJoin操作 实例 DataStream&lt;Integer&gt; orangeStream = ... DataStream&lt;Integer&gt; greenStream = ... orangeStream .keyBy(&lt;KeySelector&gt;) .intervalJoin(g...
【Flink系列】处理函数简介
qq_42875020的博客
10-23 1120
【Flink系列】处理函数简介
Flink基础概念
架构师思考实践
03-24 735
1、keyby、partitionCustom 区别 （1）KeyBy DataStream → KeyedStream: 通过制定字段，将流转化成带key的流，之后相同key的数据，分发到相同的算子上。属于逻辑上的分区。 dataStream.keyBy("someKey") // 通过 "someKey"进行分组 dataStream.keyBy(0) // 通过Tuple的第一个元素进行分组 （2）物理分区 （1）Custom partitioning...
Flink Keyed State 实例
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
06-25 4197
1 sourceStream必须要先keyBy然后才能使用Keyed State 2 需要继承RichxxxxFunction才行，在open之前声明，在open中初始化，在算子方法中使用和处理。不能继承xxxxxFunction，因为没有open方法，无法初始化，会报错。 3 open方法中只能初始化Keyed State，无法使用Keyed State（比如：获取值等操作），不然报错。因为open方法不属于Keyed上下文，算子方法才属于Keyed上下文 并行度是1： package Stat
请举例:Flink针对Data Source 提供了哪些算子?
04-24
Flink针对Data Source提供了许多算子，包括：map，filter，flatmap，keyby，reduce，aggregations，windowAll等等，这些算子可以对从数据源读取的数据进行转换和处理，从而实现数据的清洗、集成和计算等功能。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Better~Me

谢谢小可爱，希望你每天都开心~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值