使用 Flink 中的 Side Output 实现数据流的分流

最新推荐文章于 2024-02-22 20:00:00 发布

PmtxPhp

最新推荐文章于 2024-02-22 20:00:00 发布

阅读量62

点赞数

文章标签： flink 大数据

本文链接：https://blog.csdn.net/PmtxPhp/article/details/132962066

版权

Flink 专栏收录该内容

27 篇文章 2 订阅 ¥59.90 ¥99.00

订阅专栏

本文详细介绍了如何在Flink中利用Side Output机制实现数据流的分流。通过创建自定义ProcessFunction，根据条件将数据发送到主输出流或辅助输出流，从而达到处理异常数据或特殊需求的目的。文章提供了具体的步骤，包括创建Flink程序、实现ProcessFunction以及运行验证程序的正确性。

摘要由CSDN通过智能技术生成

在 Flink 中，Side Output 是一种将数据流分流到多个输出通道的机制。它可以让我们根据特定的条件将数据发送到主要的输出流以外的辅助输出流中。这在许多场景下非常有用，例如将异常数据或者满足特定条件的数据分离出来进行后续处理。

下面我们将详细介绍如何在 Flink 中使用 Side Output 来实现数据流的分流。

步骤 1：创建 Flink 程序

首先，我们需要创建一个 Flink 程序。我们可以使用 Flink 提供的 Java 或者 Scala API 来编写程序。这里我们以 Java API 为例。

import org.apache.flink.streaming.api.datastream.

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

PmtxPhp

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

订阅专栏

Flink Side OutPut分流

微信搜：import_bigdata，大数据领域硬核原创作者

01-17

390

声明：本系列博客为原创，最先发表在拉勾教育，其中一部分为免费阅读部分。被读者各种搬运至各大网站。所有其他的来源均为抄袭。《2021年最新版大数据面试题全面开启更新》分流场景在生产实践中经常会遇到这样的场景，需把输入源按照需要进行拆分，比如预期把订单流按照金额大小进行拆分，或者把用户访问日志按照访问者的地理位置进行拆分等。面对这样的需求应该如何操作？分流的方法针对不同的场景，有以下三种方法进行拆分 Filter分流 Filter方法在之前的......

Flink学习 - 10. Flink Side Output 侧输出

jerome520zl的博客

01-13

2888

Flink学习 - 10. Flink Side Output 侧输出Side Output概念Side Output 使用方式定义OutputTag使用特定函数产生数据流处理Side Output数据流处理延迟数据 Side Output概念 Side Output简单来说就是在你程序执行过程中，你需要将从主流stream中获取额外的流的方式，也就是在处理一个数据流的时候，将这个流中的不同的业务...

参与评论您还未登录，请先登录后发表或查看评论

Flink WatermarkKeyed

Claroja

12-17

162

a = 1 a = 100 a = 101 每次都发送最小值

Flink（29）：Flink中对迟到数据的处理（Allowed Lateness 和 SideOutput）

yang_shibiao的博客

07-13

1594

Flink - 窗口

fwk19840301的博客

01-21

753

窗口(Window)就是将无限流切割为有限流的一种方式，它会将流数据分发到有限大小的桶（bucket）中进行分析时间窗口（Time Window）滚动时间窗口将数据依据固定的窗口长度对数据进行切分时间对齐，窗口长度固定，没有重叠滑动时间窗口会话窗口（只有Flink 支持）计数窗口（Count Window）滚动计数窗口滑动计数窗口窗口分配器——window() 方法处理时间窗口 window(TumblingProcessingTimeWindows.of(T

Flink 侧输出流（SideOutput）

weixin_61070671的博客

02-22

1673

ProcessFunction 的 side outputs 功能可以产生多条流，并且这些流的数据类型可以不一样。一个 side output 可以定义为 OutputTag[X]对象，X 是输出流的数据类型。process function 可以通过 Context 对象发射一个事件到一个或者多个 side outputs。注意：OutputTag是如何根据旁路输出流包含的元素类型typed的。✨可以通过以下几种函数发射数据到旁路输出。当使用旁路输出时，首先需要定义一个。来标识一个旁路输出流。

Flink实战-旁路输出(SideOutput)的使用

zg_hover的专栏

03-28

3658

旁路输出是在不复制数据流的情况下。把一个数据流分割成多个流，并且不同的流进行不同的处理。通过这种方式来同一个流进行不同的处理非常方便，也是非常常用的一种流处理策略。

Flink——Side Output侧输出流

稚枭天卓

02-21

1998

主要内容：结合应用场景，介绍Flink侧输出流的使用流程和原理在处理数据的时候，有时候想对不同情况的数据进行不同的处理，那么就需要把数据流进行分流。可以在主数据流上产生出任意数量额外的侧输出流。 1 场景某公司使用埋点组件收集到了埋点数据，并实时写入了Kafka。其中，埋点数据共分为三类：Web端埋点数据、移动端埋点数据和CS端埋点数据。现在需要从Kafka读取埋点数据，并分别对三端数据做不同的处理逻辑： 2 Side Output 当然使用 filter 对主数据流进行过滤，也能满足上述场

flink数据分流，Filter、Split、SideOutPut三种分流方式

01-17

Apache Flink 是一个流行的大数据处理框架，其中数据分流是实现复杂数据流处理任务的关键功能。在 Flink 中，数据分流允许用户根据不同的条件将数据流拆分成多个子流，以便对每个子流进行特定的处理。本文将详细介绍...

Flink之SideOutput(数据分流)

AnameJL的博客

08-07

1025

Flink数据分流

轻松通关Flink第10讲：Flink Side OutPut 分流

sucaiwa的博客

03-27

179

这一课时我们讲解了 Flink 的一个小的知识点，是我们生产实践中经常遇到的场景，Flink 在最新的版本中也推荐我们使用 SideOutPut 进行流的拆分。点击这里下载本课程源码。

flink的神奇分流器-sideoutput

大数据星球-浪尖

01-10

8654

今天浪尖给大家讲讲flink的一个神奇功能，sideouptut侧输出。为了说明侧输出(sideouptut)的作用，浪尖举个例子，比如现在有一篇文章吧，单词长度不一，但...

Flink中的侧输出流SideOutput使用场景

星空的风fly

09-13

4501

一、SideOutput流作用侧输出流有两个作用：（1）分隔过滤。充当filter算子功能，将源中的不同类型的数据做分割处理。因为使用filter 算子对数据源进行筛选分割的话，会造成数据流的多次复制，导致不必要的性能浪费（2）延时数据处理。在做对延时迟窗口计算时，对延时迟到的数据进行处理，即时数据迟到也不会造成丢失二、SideOutput使用示例 @Data class OrderLog { private String orderId; private String skuI

flink小例子之side output 、table、sql、多sink的使用

热门推荐

公众号[大数据技术与应用实战]，分享大数据实战案例

02-01

1万+

前沿这个小例子主要介绍了flink side output 、table、sql、多sink的使用，从一个源消费流数据，然后主流数据存入hdfs，从主流数据引出side output数据，对侧输出数据进行处理，按一秒的窗口计算出pv，平均响应时间，错误率（status不等于200的占比）等，然后将计算结果写入本地的cvs。自定义source import org.apache.flink.st...

Flink 实践：侧输出

k_wzzc的博客

06-14

5616

什么是侧输出在flink处理数据流时，我们经常会遇到这样的情况：在处理一个数据源时，往往需要将该源中的不同类型的数据做分割处理，如果使用 filter算子对数据源进行筛选分割的话，势必会造成数据流的多次复制，造成不必要的性能浪费；flink中的侧输出就是将数据流进行分割，而不对流进行复制的一种分流机制。flink的侧输出的另一个作用就是对延时迟到的数据进行处理，这样就可以不必丢弃迟到的数据。侧...

Flink---侧输出流（SideOutput）

Knight

07-03

1684

要求：将小于32℃输入到侧输入流，大于32℃输入到主流 import org.apache.flink.api.scala._ import org.apache.flink.streaming.api.TimeCharacteristic import org.apache.flink.streaming.api.functions.ProcessFunction import org.apache.flink.streaming.api.functions.timestamps.BoundedOutOf

Flink之sideoutputStream

shufangreal的博客

03-05

188

Flink之sideoutputStream 侧输出流可以解决split过时的问题，将不同类别的数据分开成2个流「 stream.process(ProcessFunction( if() out.collect else cox.output(new OutputLag(“id”)) )) 主数据通过out.collect()进行输出侧输出数据通过 ctx.output()进行输出通过主数...

flink side-output侧输出

qq_24124009的博客

03-15

681

相信大家在用flink或spark时都遇到过这样的情况：stream.filter(true/false)，流中filter的数据，过滤掉和没过滤掉的数据都想要保存，然后第一次想到的方法大概都是是a=stream.filter(true), b=stream.filter(false)，这样不优雅，还会对性能造成影响，flink就提供了这样一个解决方案，就是侧输出，可以在一次计算中将两种数据都保...

Apache Flink中如何实现数据流的定时刷新？