union的使用

上篇：keyBy的底层用法

源码解析

点击union方法查看，发现第二个参数是可变参数

@SafeVarargs
 public final DataStream<T> union(DataStream<T>... streams) {
 List<Transformation<T>> unionedTransforms = new ArrayList<>();
 unionedTransforms.add(this.transformation);

untion底层实现

把多个流合并到一起

（1）untion得到一个ArrayList，在这里还装了Transformation，还把当前的流装到了unionedTransforms， Transformation可以做转换，详情点击进去查看。源码如下：

public final DataStream<T> union(DataStream<T>... streams) {
     List<Transformation<T>> unionedTransforms = new ArrayList<>();
     unionedTransforms.add(this.transformation);

（2）循环流的信息后，还创建new UnionTransformation，把原来两个流给抱起来了并且对多个流转换信息，得到一个新的Transformation，采用DataStream包起来。源码如下：

for (DataStream<T> newStream : streams) {
if (!getType().equals(newStream.getType())) {
throw new IllegalArgumentException("Cannot union streams of different types: "
+ getType() + " and " + newStream.getType());
}

unionedTransforms.add(newStream.getTransformation());
}
return new DataStream<>(this.environment, new UnionTransformation<>(unionedTransforms));
}

（3）DataStream与Transformation存在依赖关系【通过转换得到的依赖关系，如同rdd】

知道依赖关系，我们就可以从后往前推，构建出transformation

如果两个流的装的数据类型不一样，可以untion一起嘛？

不能，两个流的装的数据类型需要一致

代码演示

package cn._51doit.flink.day03;

import org.apache.flink.configuration.Configuration;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
/**
 * 如果是自己untion别人【都是在一个窗口上输出的】
 * 如果是自己untion自己【发两次
 *无界流
 *
 */
public class UnionDemo {
    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironmentWithWebUI(new Configuration());

        DataStreamSource<String> lines1 = env.socketTextStream("Master", 8888);

        // DataStreamSource<String> lines2 = env.socketTextStream("Master", 9999);
        DataStreamSource<Integer> nums = env.fromElements(1, 2, 3, 4, 5, 6, 7, 8, 9);


        // DataStream<String> unioned = lines1.union(lines2);
        DataStream<String> unioned = lines1.union(lines1);
        unioned.print();

        env.execute();


    }
}

打印输出：

查看job：http://localhost:8081/#/job/7aa8512c9e46f464f42eed76813bc9c7/overview