Flink 侧路输出

DataStream<String> text = env.socketTextStream(hostname, port, "\n");
text.filter(e->Integer.parseInt(e)>20).print();
text.filter(e->Integer.parseInt(e)>10).print();
env.execute();

执行图如下
在这里插入图片描述

  DataStream<String> text = env.socketTextStream(hostname, port, "\n");
        OutputTag<String> sideOutputTag = new OutputTag<String>("side-output-tag"){};
        SingleOutputStreamOperator<Object> process = text.process(new ProcessFunction<String, Object>() {
            @Override
            public void processElement(String s, Context context, Collector<Object> collector) throws Exception {
                if (Integer.parseInt(s) > 20) {
                    context.output(sideOutputTag, s);
                }
                if (Integer.parseInt(s) > 10) {
                    collector.collect(s);
                }
            }
        });
        process.getSideOutput(sideOutputTag).print();
        process.print();

执行图如下
在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Flink的侧输出流(Side Output)是一种将数据流分发到多个输出的机制。通常情况下,Flink的数据流会经过一系列的变换操作后输出到一个或多个目标,但有时候我们需要根据特定的条件将数据发送到额外的输出通道,这时就可以使用侧输出流。 具体来说,侧输出流是通过调用`ProcessFunction`中的`OutputTag`来实现的。`OutputTag`是一个标识符,用于标记侧输出流。在`ProcessFunction`中,我们可以使用`OutputTag`将符合特定条件的数据发送到侧输出流中,而不是从主输出流中发送。 使用侧输出流可以实现一些常见的场景,例如异常数据的处理、低优先级数据的分流等。通过将数据发送到侧输出流,我们可以在后续处理中对这些数据进行特定的操作,例如保存到外部存储、发送到消息队列等。 在Flink中使用侧输出流的示例代码如下所示: ```java OutputTag<String> outputTag = new OutputTag<String>("side-output") {}; DataStream<String> mainStream = ... SingleOutputStreamOperator<String> outputStream = mainStream.process(new ProcessFunction<String, String>() { @Override public void processElement(String value, Context ctx, Collector<String> out) throws Exception { // 根据特定条件判断是否发送到侧输出流 if (condition) { ctx.output(outputTag, value); } else { out.collect(value); } } }); DataStream<String> sideOutputStream = outputStream.getSideOutput(outputTag); ``` 上述代码中,我们创建了一个`OutputTag`用于标记侧输出流,并在`ProcessFunction`的`processElement`方法中根据特定条件判断是否发送到侧输出流。最后,我们可以通过`getSideOutput`方法获取侧输出流的数据流。 需要注意的是,侧输出流的处理逻辑是在同一个算子中完成的,因此在使用侧输出流时需要考虑算子的并行度和资源分配等问题。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值