Flink 侧输出流使用

最新推荐文章于 2024-02-22 20:00:00 发布
最新推荐文章于 2024-02-22 20:00:00 发布
阅读量1w 收藏 3
点赞数 2
分类专栏： flink 入门到精通 文章标签： Flink 侧输出流使用 Flink 侧输出流 侧输出流
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/congge_study/article/details/123768367
版权
本文探讨了Flink的侧输出流机制，它允许在处理数据流时，根据规则将不同类型的事件分流，避免数据复制，提高效率。侧输出也用于处理迟到数据，确保数据完整性。通过一个例子说明，如何将温度传感器数据按30度阈值分为主流和侧输出流，主流处理超温数据，侧输出流则用于后续操作。
摘要由CSDN通过智能技术生成

什么是Flink 的侧输出

flink处理数据流时，经常会遇到这样的情况：处理一个数据源时，往往需要将该源中的不同类型的数据做分割（分流）处理，假如使用 filter算子对数据源进行筛选分割的话，势必会造成数据流的多次复制，造成不必要的性能浪费；

flink中的侧输出，就是将数据流进行分割，而不对流进行复制的一种分流机制。flink的侧输出的另一个作用就是对延时迟到的数据进行处理，这样就可以不必丢弃迟到的数据；

简单理解就是，根据业务上的一定规则，将一个源中的数据拆分成不同的流，即主流和侧输出流；

举例来说，源数据流中有一批监控某流水线传感器温度的数据，我们需要将这批数据按照30为一个基准进行拆分，业务上更加关注的是超过30度的数据，因此可以作为主流输出，而低于30度的数据并不想丢弃，因此作为侧输出流，在侧输出流中做后续的处理，下面来看具体的代码演示，

import com.congge.source.SensorReading;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apac
了解本专栏 订阅专栏 解锁全文 超级会员免费看
逆风飞翔的小叔
关注
专栏目录
订阅专栏
【Flink】侧输出流
一杯咖啡半杯糖的博客
04-29 1827
在我们实际开发过程中，会出现一个flink流需要做多种处理的情况，假如我们既需要把Flink从kafka中消费的数据入到大数据数据库，又需要把主流中的部分数据拿出来发送到kafka中，这种情况就可以考虑使用flink侧输出流,通过侧输出流的数据类型不必与主要流中的数据类型相匹配，并且不同旁路输出的类型也可以不同。 下面看例子 1、maven依赖如下 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http:...
Flink——Side Output侧输出流
稚枭天卓
02-21 2000
主要内容： 结合应用场景，介绍Flink侧输出流的使用流程和原理 在处理数据的时候，有时候想对不同情况的数据进行不同的处理，那么就需要把数据流进行分流。可以在主数据流上产生出任意数量额外的侧输出流。 1 场景 某公司使用埋点组件收集到了埋点数据，并实时写入了Kafka。其中，埋点数据共分为三类：Web端埋点数据、移动端埋点数据和CS端埋点数据。现在需要从Kafka读取埋点数据，并分别对三端数据做不同的处理逻辑： 2 Side Output 当然使用 filter 对主数据流进行过滤，也能满足上述场
Flink 侧输出流
TB_CYX的博客
02-02 455
【代码】Flink 侧输出流。
Flink 侧输出流（SideOutput）
最新发布
weixin_61070671的博客
02-22 1693
ProcessFunction 的 side outputs 功能可以产生多条流，并且这些流的数据类型可以不一样。一个 side output 可以定义为 OutputTag[X]对象，X 是输出流的数据类型。process function 可以通过 Context 对象发射一个事件到一个或者多个 side outputs。注意：OutputTag是如何根据旁路输出流包含的元素类型typed的。✨可以通过以下几种函数发射数据到旁路输出。当使用旁路输出时，首先需要定义一个。来标识一个旁路输出流。
Flink侧输出流
大怀特的博客
11-02 3123
除了从DataStream操作输出主结果流外,也可以生成任一数量的额外的侧输出流.结果流可以和主输出流的类型可以不匹配,并且侧输出流可以有不同类型.侧输出流的操作当你分流时非常有用,之前你需要先复制一个流再过滤出来,有了侧输出流,就不需要这样操作. 当使用侧输出流时,首先需要定义一个OutputTag,它将要被用来确定一个侧输出流. val outputTag = OutputTag[String]("side-output") 注意:侧输出流的类型是根据侧输出流包括元素的类型来确定. 可以从.
flink侧流输出
qq_44698610的博客
10-27 1069
测流输出的方法建立多个分支 定义流的标签 传入处理器函数中 判断参数，进行分流 package com.uu.two import java.sql import java.sql.DriverManager import com.uu.two.utils.DateTrans import org.apache.flink.api.common.functions.{MapFunction, RichMapFunction} import org.apache.flink.api.common.st.
Flink DataStream 侧输出流 Side Output
SmartSi
09-07 572
要使用 Side Output 的话，你首先需要做的是定义一个 OutputTag 来标识 Side Output，表示是要收集哪种类型的数据。侧输出流中的数据类型不必与主数据流中的数据类型相匹配，并且不同侧输出流的类型也可以不同。使用 Side Output 将迟到的数据重定向到另一个数据流中，这样就可以对他们进行后续处理或者通过 Sink 将数据输出到外部系统。这里类型不一致，主要是为了验证不同侧输出流可以输出不同类型的数据。OutputTag 类型是根据侧输出流包含元素的类型定义的。
flink侧输出流
Future_w2h的博客
11-30 190
package com.msxf.datamart.applyMain; import com.alibaba.fastjson.JSON; import com.alibaba.fastjson.JSONException; import com.alibaba.fastjson.JSONObject; import com.alibaba.fastjson.serializer.SerializerFeature; import com.msxf.datamart.common.SideOutEven
大数据之Flink(8) | 侧输出流（SideOutput）
Knight
11-17 907
大部分的DataStream API的算子的输出是单一输出，也就是某种数据类型的流。除了split算子，可以将一条流分成多条流，这些流的数据类型也都相同。process function的side outputs功能可以产生多条流，并且这些流的数据类型可以不一样。一个side output可以定义为OutputTag[X]对象，X是输出流的数据类型。process function可以通过Context对象发射一个事件到一个或者多个side outputs。 需求:温度大于30输出一条流和温度小于30输
flink测流输出
weixin_45896475的博客
04-26 1512
flink测流输出 目的 给数据打上标签,我们支取其中的某一个或者几个标签作为支流输出,其他的所有的主流可以另外输出, 还能获取迟到的数据 package com._51doit.flink.day06; import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.java.tuple...
Flink测流输出
JinVijay的博客
02-24 1577
测流输出示例 /** * 测流输出 * 本质上,就是将一个流中的数据打上标签,未打标签的数据叫主流, * 打标签的数据流,叫侧流(非主流) * * 在Flink中,DataStream中的数据流,按照是否打标签,分为两类 * 1.侧流,就是打上标签的数据流,想要获取,就必须根据标签才能获取到 * 2.主流,就是未打标签的数据,直接操作DataStream就可以了 */ public class SideOutputDemo { public static void main(S
Flink侧输出流机制
qq_43523503的博客
03-18 1118
6.5 侧输出流（sideOutput） 6.5.1 功能1：处理允许迟到后迟到的数据 允许迟到数据，窗口也会真正的关闭，如果允许迟到后，还是有迟到的数据怎么办？Flink提供一种侧输出流的机制来处理关窗之后到达的数据。 public class Flink19_Watermark_SideOutput { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env
输出流_5分钟Flink 侧输出流(SideOutput)
weixin_39759270的博客
01-02 906
代码版本Flink : 1.10.0 Scala : 2.12.6侧输出流(SideOutput)本文介绍的内容是侧输出流(SideOutput)，在平时大部分的 DataStream API 的算子的输出是单一输出，也就是某一种或者说某一类数据流，流向相同的地方。在处理不同的流中，除了 split 算子，可以将一条流分成多条流，这些流的数据类型也都相同。ProcessFunction ...
大数据（9e）Flink侧输出流
ArYe
11-30 2108
sideOutputLateData side output 窗口允许迟到的数据，但仍有数据在关窗后到达 Flink提供了侧输出流（sideOutput）来处理关窗之后到达的数据 sideOutputLateData OutputTag sideOutput
Flink侧输出流（Side Output）
大唐帝国—前营
01-07 2203
需求：如果温度值小于32F，就将报警信息输出到侧输出流中 package com.run.wc import org.apache.flink.streaming.api.scala.{OutputTag, StreamExecutionEnvironment} import org.apache.flink.api.scala._ import org.apache.flink.streami...
二、Flink侧面输出流Side outputs和异步IO流asyncIO
zybiao2的专栏
11-04 1344
对于带有Futures的实现，如果它有一个用于回调的Executor（或Scala中的ExecutionContext），我们建议使用DirectExecuto，因为回调通常只做最少的工作，而且DirectExecuter避免了额外的线程到线程切换开销。也就是说，在无序输出模式下，向工作队列添加更多60个容量可能不会影响吞吐量，在有序模式下，头元素是关键点，它保持未完成的时间越长，操作员提供的处理延迟越长，重试功能可能会增加头元素的未完成时间，如果实际上使用相同的超时限制获得了更多重试。
Flink笔记-侧输出流
ooeeerrtt的博客
05-06 601
public class OutPutTagStream { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.setParallelism(3); FlinkKafkaConsumer010<St.
Flink侧输出流怎么使用
05-24
Flink的侧输出流是将一个DataStream分成多个流的一种方式，通常用于处理异常情况或者将特殊数据发送到不同的目的地。下面是使用侧输出流的步骤： 1. 定义侧输出流 ``` OutputTag<String> outputTag = new OutputTag<String>("side-output"){}; ``` 2. 对DataStream应用侧输出流 ``` SingleOutputStreamOperator<String> mainStream = inputStream.process(new ProcessFunction<String, String>() { @Override public void processElement(String value, Context ctx, Collector<String> out) throws Exception { if (value.contains("error")) { ctx.output(outputTag, "error: " + value); } else { out.collect(value); } } }); ``` 3. 获取侧输出流 ``` SingleOutputStreamOperator<String> sideOutput = mainStream.getSideOutput(outputTag); ``` 上述代码中，首先定义了一个名为“side-output”的侧输出流，然后在processElement方法中，根据输入数据的内容，将特殊数据发送到侧输出流，而正常数据则发送到主输出流。最后使用getSideOutput方法获取侧输出流即可。 需要注意的是，侧输出流只有在执行execute方法时才会被触发，因此需要在程序中调用execute方法才能看到侧输出流的效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

逆风飞翔的小叔

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值