侧输出Side Output详解

22 篇文章 1 订阅 ¥9.90 ¥99.00

 

目录

 侧输出(Side Output)

案例

延迟数据作为侧输出

案例


 侧输出(Side Output)

        除了由数据流算子产生的主流(main stream)之外,您还可以生成任意数量的附加侧输出(side output)结果流。结果流中的数据类型不必与主流中的数据类型匹配,不同侧输出的类型也可以不同。当您想要分割数据流(通常必须复制该数据流,然后从每个数据流中过滤掉不想要的数据)时,此操作非常有用。

        当使用侧输出时,你首先需要定义一个输出标签OutputTag,它将用于标识侧输出流:

// this needs to be an anonymous inner class, so that we can analyze the type
OutputTag<String> outputTag = new OutputTag<String>("side-output") {};

请注意,OutputTag是如何根据侧输出流所包含的元素类型进行键入的.

        可以通过以下函数向侧输出发送数据:

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Flink的输出流是指在一个算子中输出多个数据流的机制,可以理解为将一个数据流分成多个数据输出输出流可以用于将某些特殊情况下的数据分离出来,便于后续的处理。例如,当输入的数据不符合某个条件时,将其输出输出流中进行特殊处理。 在Flink中,输出流是通过使用OutputTag实现的。OutputTag是一个泛型类,用于定义输出流的类型。在算子中,可以通过调用processElement方法将数据输出输出流中,如下所示: ```java // 定义输出流的OutputTag OutputTag<String> outputTag = new OutputTag<String>("side-output"){}; // 定义处理数据的算子 public class MyProcessFunction extends ProcessFunction<Integer, String> { @Override public void processElement(Integer value, Context ctx, Collector<String> out) throws Exception { if (value % 2 == 0) { // 将偶数输出到主数据流 out.collect(value.toString()); } else { // 将奇数输出输出流 ctx.output(outputTag, "odd: " + value.toString()); } } } // 获取输出流 SingleOutputStreamOperator<String> mainDataStream = inputStream.process(new MyProcessFunction()); DataStream<String> sideOutputStream = mainDataStream.getSideOutput(outputTag); ``` 在上述代码中,ProcessFunction通过调用ctx.output方法将数据输出输出流中。在最后通过调用getSideOutput方法获取输出流。 注意:输出流的数据类型必须和输出流的OutputTag定义的类型一致。否则会出现类型转换异常。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

L(刘二宝)

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值