【Flink学习笔记】Flink DataStream API之Transformation算子小结

最新推荐文章于 2022-09-27 18:34:53 发布

hi枫林客

最新推荐文章于 2022-09-27 18:34:53 发布

阅读量691

点赞数

分类专栏： Flink 文章标签： Flink

本文链接：https://blog.csdn.net/wnf2018/article/details/100178551

版权

本文总结了Flink DataStream API中的三种重要Transformation算子：map、flatMap和filter。map算子用于对数据流中的每个元素进行转换操作；flatMap允许每个输入元素转化为任意数量的输出元素；filter算子则用于根据指定条件过滤数据流中的元素。通过Java和Scala API展示了它们的使用示例。

摘要由CSDN通过智能技术生成

1、map算子

1）理解：通过对DataStream对象调用其map方法，对数据流中的每一个元素进行转换逻辑操作，最终返回每一个输入元素转换后的结果数据继续封装成一个DataStream对象返回（输入多少个元素，就会返回多少个元素，中间过程可以进行一系列的数据结构转换操作）

2）map算子使用入门代码示例

（1）java API代码

package com.flink.datastream.transformation;

import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

import java.util.Arrays;

public class MapDemo {
    public static void main(String[] args) throws Exception {
        // 获取flink的运行环境对象
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        // 构建数据流对象
        DataStreamSource<Integer> collectionDataStreamSource = env.fromCollection(Arrays.asList(1, 2, 3, 4));

        // 调用map算子对集合数据源中的每个元素做累加1操作
        // new MapFunction<T, O>匿名内部类中泛型的第1个参数类型是数据流输入的数据类型，第2个泛型参数类型是经过map方法转换后返回的数据类型
        SingleOutputStreamOperator<String> dataStream = collectionDataStreamSource.map(new MapFunction<Integer, String>() {

            @Override
            public String map(Integer integer) throws Exception {
                return "map"