Flink union算法多流合并

最新推荐文章于 2024-01-23 22:30:08 发布

怪我_喽

最新推荐文章于 2024-01-23 22:30:08 发布

阅读量1.8k

点赞数

分类专栏： 2021 文章标签： cuda nvidia Python flink

本文链接：https://blog.csdn.net/qq_20901827/article/details/121537275

版权

2021 专栏收录该内容

5 篇文章 0 订阅

订阅专栏

union

在DataStream上使用union算子可以合并多个同类型的数据流，并生成同类型的数据流，即可以将多个DataStream[T]合并为一个新的DataStream[T]。数据将按照先进先出（First In First Out）的模式合并，且不去重。下图union对白色和深色两个数据流进行合并，生成一个数据流。

代码示例

String[] lists = {"file1", "file2", "file3"};

        // 多个数据流进行整合；
        DataStream<String> inputStream = null;

        for (String list : lists) {
            
            if (inputStream == null) {
                inputStream = env.readTextFile(list);
            }
            else {
                inputStream = inputStream.union(env.readTextFile(list));
            }
        }
inputStream.print();