flink的侧输出(sideoutput)和OutputTag

背景

    用flink做数据处理的时候,我们经常会想要将数据分成几类处理,或者有一批特殊数据需要单独处理。但是我们又想复用同一个流式任务,避免重复处理数据。

    这种需求,使用sideoutput完美解决。建议直接看官方文档就好了:https://ci.apache.org/projects/flink/flink-docs-stable/dev/stream/side_output.html

    官方github示例:https://github.com/apache/flink/blob/master/flink-examples/flink-examples-streaming/src/main/java/org/apache/flink/streaming/examples/sideoutput/SideOutputExample.java

小细节

    我们会发现OutputTag在实例化的时候是使用了匿名内部类。这个时候很容易一脸问号,为什么要用匿名内部类?后边加了两个大括号,啥都没干。。。

private static final OutputTag<String> rejectedWordsTag = new OutputTag<String>("rejected") {};

    其实这个是有用的,OutputTag有两个构造函数,当前用的这个构造函数只有一个参数,传入一个string,用来标识分流的数据是什么含义;另一个构造函数还可以传入一个TypeInformation对象,这个是用来说明分流的数据是什么类型的。

    使用单参数的构造函数,flink会自动推测TypeInformation,但是OutputTag带了泛型,在编译的时候会丢失这个信息,所以只能生成匿名内部类把泛型里的信息带上(推测,未验证)

 

 

  • 1
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
Flink的侧输出流(Side Output)是一种将数据流分发到多个输出的机制。通常情况下,Flink的数据流会经过一系列的变换操作后输出到一个或多个目标,但有时候我们需要根据特定的条件将数据发送到额外的输出通道,这时就可以使用侧输出流。 具体来说,侧输出流是通过调用`ProcessFunction`中的`OutputTag`来实现的。`OutputTag`是一个标识符,用于标记侧输出流。在`ProcessFunction`中,我们可以使用`OutputTag`将符合特定条件的数据发送到侧输出流中,而不是从主输出流中发送。 使用侧输出流可以实现一些常见的场景,例如异常数据的处理、低优先级数据的分流等。通过将数据发送到侧输出流,我们可以在后续处理中对这些数据进行特定的操作,例如保存到外部存储、发送到消息队列等。 在Flink中使用侧输出流的示例代码如下所示: ```java OutputTag<String> outputTag = new OutputTag<String>("side-output") {}; DataStream<String> mainStream = ... SingleOutputStreamOperator<String> outputStream = mainStream.process(new ProcessFunction<String, String>() { @Override public void processElement(String value, Context ctx, Collector<String> out) throws Exception { // 根据特定条件判断是否发送到侧输出流 if (condition) { ctx.output(outputTag, value); } else { out.collect(value); } } }); DataStream<String> sideOutputStream = outputStream.getSideOutput(outputTag); ``` 上述代码中,我们创建了一个`OutputTag`用于标记侧输出流,并在`ProcessFunction`的`processElement`方法中根据特定条件判断是否发送到侧输出流。最后,我们可以通过`getSideOutput`方法获取侧输出流的数据流。 需要注意的是,侧输出流的处理逻辑是在同一个算子中完成的,因此在使用侧输出流时需要考虑算子的并行度和资源分配等问题。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值