Flink DataStream算子汇总

最新推荐文章于 2024-05-15 10:06:14 发布
最新推荐文章于 2024-05-15 10:06:14 发布
阅读量412 收藏 1
点赞数 1
分类专栏： flink 大数据 文章标签： flink 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34387470/article/details/115389804
版权
本文根据Flink 1.12官方文档，系统整理了DataStream API的各种算子，旨在为学习者提供全面的参考资料。
摘要由CSDN通过智能技术生成

 

依据1.12官网进行归纳汇总,方便学习

Transformation 数据流转换

Description

Map

map可以理解为映射，对每个元素进行一定的变换后，映射为另一个元素

FlatMap

flatmap可以理解为将元素摊平，每个元素可以变为0个、1个、或者多个元素。

Filter

filter是进行筛选 为每个元素评估一个布尔函数，并保留该函数返回true的布尔函数。过滤出零值的过滤器

KeyBy

逻辑上将Stream根据指定的Key进行分区，是根据key的散列值进行分区的。在内部，keyBy（）是通过哈希分区实现的。有多种指定密钥的方法。

此转换返回一个KeyedStream，除其他事项外，还需要使用keyed state。

在以下情况下，类型不能为键：

它是POJO类型，但不覆盖hashCode（）方法，而是依赖于Object.hashCode（）实现。

它是任何类型的数组。

Reduce

reduce是归并操作，它可以将KeyedStream 转变为 DataStream。对每一组内的元素进行归并操作，即第一个和第二个归并，结果再与第三个归并...

Aggregations

聚合

在键控数据流上滚动聚合。min和minBy之间的区别在于min返回最小值，而minBy返回在此字段中具有最小值的元素（与max和
最低0.47元/天 解锁文章
爱学习的菜鸟罢了
关注
专栏目录
Flink fold算子 实例 （所有订单的分类汇总信息）
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
06-18 2445
需求 本篇文章，我们使用fold函数每次来统一输出当前所有订单的分类汇总信息。 解决方案 package fold; import org.apache.flink.api.common.functions.FoldFunction; import org.apache.flink.api.java.functions.KeySelector; import org.apache.flink.api.java.tuple.Tuple2; import org.apache.flink.stream
Flink系列之：Java代码实现深入浅出的理解Flink算子的使用方法
zhengzaifeidelushang的博客
02-06 531
Flink系列之：Java代码实现深入浅出的理解Flink算子的使用方法
Flink DataStream常用算子
王树伦的博客
05-27 595
Flink中的算子是将一个或多个DataStream转换为新的DataStream，可以将多个转换组合成复杂的数据流拓扑。 在Flink中，有多种不同的DataStream类型，他们之间是使用各种算子进行的。如下图所示： 以下列举下常用的算子，用到的代码例子都是Flink监听9000端口做为数据源。以下方法可以启动一个9000的socket端口服务。 Linux平台上可以使用 bash nc -lk 9000 如果是 Windows 平台，可以通过https://nmap.org/ncat.
Flink DataStream 算子
Baron_ND的博客
08-05 199
Flink DataStream Window 窗口函数 ReduceFunction、AggregateFunction、ProcessWindowFunction Window Function在窗口触发后，负责对窗口内的元素进行计算。Window Function分为两类: 增量聚合和全量聚合。 增量聚合: 窗口不维护原始数据，只维护中间结果，每次基于中间结果和增量数据进行聚合。如:ReduceFunction、AggregateFunction。 全量聚合: 窗口需要维护全部原始数据，窗口触.
flink.13 DataStream模块 算子大全
笔生花的博客
03-25 4239
算子大全摘要1.map2.flatMap3.filter4.keyBy 摘要 首先不得不提一点,每一个算子都是有状态的,算子的状态也是flink能够从错误中恢复的基础. 算子的执行状态称为状态后端,状态是可以被程序访问,甚至我们可以自己及写代码访问状态.比如广播就利用了这个特性,首先将流广播出去,然后通过状态句柄去访问广播出去的流. 可以说理解算子状态是学习flink的核心. 状态的存储见我的其他的文章.多说一句, flink运行过程中真正有意义的数据就是状态数据,状态数据就是中间结果. 每个算
Flink DataStream 内外部数据源的各种情况汇总
Brave_heart4pzj的博客
12-26 3802
一、内置数据源 （1）文件数据源 在 StreamExecutionEnvironment 中，可以使用 readTextFile 方法直接读取文本文件，也可以使用 readFile 方法通过指定文件 InputFormat 来读取特定数据类型的文件，如 CsvInputFormat。 下面的代码演示了使用 readTextFile 读取文本文件 import org.apache.flink....
【Flink-1.17-教程】-【四】Flink DataStream API（2）转换算子（Transformation）【基本转换算子、聚合算子】
weixin_53543905的博客
01-22 1178
全面讲解各个算子：map / filter / flatMap、keyBy、sum / min / max / minBy / maxBy、reduce。全面讲解各个算子的难点要点。数据源读入数据之后，我们就可以使用各种转换算子，将一个或多个 DataStream 转换为新的 DataStream。我们只需要基于 DataStream 调用 map() 方法就可以进行转换处理。方法需要传入的参数是接口 MapFunction 的实现；返回值类型还是 DataStream，不过泛型（流中的元素类型）可能改变。
大数据学习之Flink算子、了解（Transformation）转换算子（基础篇三）
2301_78038072的博客
01-23 1606
数据源读入数据之后，我们就可以使用各种转换算子，将一个或多个 DataStream 转换为新的 DataStream，如图所示。一个Flink程序的核心，其实就是所有的转换操作，它们决定了处理的业务逻辑。代码如下： 运行结果：直观上看，基本转换算子确实是在“转换”——因为它们都是基于当前数据，去做了处理和输出。而在实际应用中，我们往往需要对大量的数据进行统计或整合，从而提炼出更有用的信息。比如之前 word count 程序中，要对每个词出现的频次进行叠加统计。这种操作，计算的结果不仅依赖当前数据，还跟
Flink中DataStream常用算子
大数据进阶之路
03-29 2161
Flink Stream常用算子 其实对于所有的计算框架都是一样的，都分为以下四部分： Flink中提供的一些Source、Transform算子以及Sink如下： 1. Environment Flink Job提交执行计算时，首先需要简历和Flink框架的联系，所以只有获取处理的环境，才能将task调度到不同的taskManager执行。 // 批处理环境 ExecutionEnvironment benv = ExecutionEnvironment.getExecutionEnvironment
Flink专题三：Flink DataStream 算子介绍及使用
beyond的博客
03-13 3382
由于工作需要最近学习flink 现记录下Flink介绍和实际使用过程 这是flink系列的第三篇文章 Flink DataStream 算子介绍及使用算子介绍数据流常用转换方法MapFlatMapFilterKeyByreduceUnion 算子介绍 用户通过算子能将一个或多个 DataStream 转换成新的 DataStream，在应用程序中可以将多个数据转换算子合并成一个复杂的数据流拓扑。 这部分内容将描述 Flink DataStream API 中基本的数据转换API，数据转换后各种数据分区方.
flink-DataStreamAPI常用算子
qq_48234103的博客
07-20 963
记录flink算子中比较常用的一部分
31、Flink 的 DataStream API 数据流算子详解
最新发布
猫猫爱吃小鱼粮
05-15 411
Flink 的 DataStream API 数据流算子详解
Flink 三 DataStream的各类算子
写bug的小哥哥
04-27 571
DataStream的各类算子1 Map：DataStream → DataStream2 flatMap：DataStream → DataStream3 Filter DataStream → DataStream4 KeyBy DataStream → KeyedStream5 Reduce KeyedStream：根据key分组 → DataStream 1 Map：DataStream → DataStream 遍历数据流中的每一个元素，产生一个新的元素，可以理解为对集合内数据的清洗操作
【Flink1.14实战】Flink DataStream 算子Reduce&Window
一片冰心
04-11 1880
具体内容已在专栏展示： https://blog.csdn.net/qq_15604349/category_11734572.html 源码地址： https://github.com/lvjianyang/flink https://gitee.com/jian_yang_lv/flink Reduce **KeyedStream→ DataStream ** 一个分组数据流的聚合操作，合并当前的元素和上次聚合的结果，产生一个新的值，返回的流中包含每一次聚合的结果，而不是只返回最后一次聚合的
Flink DataStream API
magicpenta的博客
08-10 699
Flink 根据抽象程度分层，提供了三种不同的 API。每一种 API 在简洁性和表达力上有着不同的侧重，并且针对不同的应用场景。 DataStream API 是 Flink 中用于编写流处理作业的 API，为许多通用的流处理操作提供了处理原语。它支持 Java 和 Scala 语言，预先定义了例如 map()、reduce()、aggregate() 等函数。 ​ 在 DataStream API 中，Flink 应用程序同样包含以下步骤： 获取 execution environment 定义数据
Flink DataStream 算子 Map、FlatMap、Filter、KeyBy、Reduce、Fold、Aggregate
LzwGlory的专栏
03-02 1334
总结Flink DataStream 算子: Map、FlatMap、Filter、KeyBy、Reduce、Fold、Aggregate 的使用。 Map [DataStream->DataStream] Map: 一对一转换,即一条转换成另一条。 package com.bigdata.flink.dataStreamMapOperator; import com.bigdata....
第 12 节 DataStream之算子操作-java
weixin_39868387的博客
03-08 378
上篇：第 11 节 DataStream之自定义source 1、
Flink DataStream
06-03
Flink DataStream 是 Apache Flink 中用于处理流式数据的 API，它提供了丰富的操作符和工具，支持流式数据的转换、聚合、分组、连接等操作。Flink DataStream API 提供了高度的可编程性和灵活性，允许用户通过编写 Java 或 Scala 代码来定义流式数据处理的逻辑。 Flink DataStream 采用类似于函数式编程的方式来编写数据处理逻辑，用户可以通过定义源、转换操作符和汇聚操作符来构建数据处理流程。Flink DataStream 支持多种数据源，包括 Kafka、RabbitMQ、文件系统等，也支持多种数据输出方式，包括 Kafka、文件系统、数据库等。同时，Flink DataStream 还提供了窗口、时间语义、状态管理等特性，使得用户可以处理更复杂的流式数据分析场景。 Flink DataStream API 与 Flink Table API 和 Flink SQL 紧密集成，用户可以根据自己的需求选择不同的 API 进行数据处理，同时也可以将它们结合使用，形成完整的数据处理流程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值