Flink常用算子

Operators

  • map
    DataStream → DataStream

  • flatMap
    DataStream → DataStream

  • fliter
    DataStream → DataStream

  • keyBy
    DataStream → KeyedStream
    对数据进行分流

  • reduce
    KeyedStream/WindowedStream/AllWindowedStream → DataStream
    用于keyBy或者window/windowAll之后

  • window
    KeyedStream → WindowedStream
    用于keyBy之后

  • windowAll
    DataStream → AllWindowedStream
    不用于keyBy之后,此算子并行度始终为1

  • apply
    WindowedStream/AllWindowedStream → DataStream

  • union
    DataStream* → DataStream
    合并相同类型的流

  • join
    DataStream,DataStream → DataStream
    比较两条流中的元素,如果相等输出,否则不进行输出。

    dataStream.join(otherStream)
    .where().equalTo()
    .window(TumblingEventTimeWindows.of(Time.seconds(3)))
    .apply (new JoinFunction () {…});

  • Interv

Flink 中的算子可以分为三类:转换算子(Transformation)、数据源算子(Source)、数据汇算子(Sink)。 1. 转换算子 转换算子用于对数据进行转换和处理,常用算子有: - map:对每条数据进行一定的处理,将其转换为另一种形式输出。 - flatMap:与 map 类似,但是可以输出多个结果。 - filter:对数据进行过滤,只保留符合条件的数据。 - keyBy:按照指定的 key 进行分组,将具有相同 key 的数据分到同一个分区中。 - reduce:对分组后的数据进行聚合计算,输出一个结果。 - sum/min/max:对分组后的数据进行求和/最大值/最小值计算,输出一个结果。 - window:将数据按照时间窗口进行分组,进行聚合计算。 - join:将两个流的数据按照指定的条件进行连接,输出一个新的流。 - union:将两个流合并成一个流。 - coMap/coFlatMap:将两个流的数据进行合并处理,输出一个新的流。 2. 数据源算子 数据源算子用于从外部数据源中读取数据,常用算子有: - socketTextStream:从指定的 Socket 地址读取文本数据。 - readTextFile:从指定的文件路径读取文本数据。 - readCsvFile:从指定的 CSV 文件路径读取 CSV 数据。 - addSource:从自定义数据源中读取数据。 3. 数据汇算子 数据汇算子用于将数据写入到外部系统中,常用算子有: - print:将数据打印到控制台。 - writeAsText:将数据以文本形式写入到指定的文件路径。 - writeAsCsv:将数据以 CSV 形式写入到指定的文件路径。 - addSink:将数据写入到自定义的数据汇中。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值