【Flink】旁侧流的应用场景及代码实战

已于 2024-10-05 15:05:42 修改
阅读量475 收藏 6
点赞数 3
分类专栏： 计算引擎 文章标签： flink 大数据 旁测流
于 2024-10-05 14:56:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011487470/article/details/142714370
版权

0、引言

在 Flink 中，"旁侧流"（Side Output）是一种特殊的输出流，它可以从同一个操作中分离出不同的数据流，从而实现数据的多路复用。

一、应用场景

旁侧流在 Flink 中有多种应用场景，以下是一些常见的例子：

  • 数据分流：在某些业务场景中，可能需要将数据根据特定条件分流到不同的输出，例如，将正常数据和异常数据分别发送到不同的主题或存储系统中。
  • 特征工程：在机器学习或数据分析中，可能需要从原始数据流中提取不同的特征集，用于不同的模型训练或分析。
  • 实时监控：在处理数据流时，可能需要实时监控数据的某些指标，如流量大小、异常率等，并将监控结果输出到监控系统。
  • 数据备份：为了保证数据的安全性，可能需要将处理过程中的数据备份到不同的存储系统中，以便于数据恢复
  • 迟到数据处理：在流处理系统中，对于晚于预期到达的数据，通过特定的机制（如水印和窗口）来识别并进行特殊处理，以确保数据的准确性和时效性，同时减少对整体处理流程的影响

 二、代码实现

2.1 数据分流

描述：将数据根据特定条件分流到不同的输出，例如，将正常数据和异常数据分别发送到不同的主题或存储系统。

代码示例：


import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.output.SideOutput;
import org.apache.flink.streaming.api.output.SideOutputMode;
import org.apache.flink.api.common.functions.FilterFunction;
import org.apache.flink.api.common.functions.MapFunction;

public class DataDivertingExample {
    public static void main(String[] args) throws Exception {
        final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        // 定义两个旁侧输出标签
        final OutputTag<String> normalOutputTag = new OutputTag<String>("normal-output"){};
        final OutputTag<String> errorOutputTag = new OutputTag<String>("error-output"){};

        DataStream<String> input = env.fromElements("data1", "errorData", "data2", "data3");

        DataStream<String> normalDataStream = input
            .filter(new FilterFunction<String>() {
                @Override
                public boolean filter(String value) throws Exception {
                    return !value.contains("error");
                }
            })
            .map(new MapFunction<String, String>() {
                @Override
                public String map(String value) throws Exception {
                    return "Normal: " + value;
                }
            });

        DataStream<String> errorDataStream = input
            .filter(new FilterFunction<String>() {
                @Override
                public boolean filter(String value) throws Exception {
                    return value.contains("error");
                }
            })
            .map(new MapFunction<String, String>() {
                @Override
                public String map(String value) throws Exception {
                    return "Error: " + value;
                }
            })
            .output(errorOutputTag);

        // 获取旁侧输出流
        DataStream<String> normalSideOutput = normalDataStream.getSideOutput(normalOutputTag);
        DataStream<String> errorSideOutput = errorDataStream.getSideOutput(errorOutputTag);

        // 输出主数据流和旁侧数据流
        normalSideOutput.print("Normal Data Stream:");
        errorSideOutput.print("Error Data Stream:");

        env.execute("Flink Data Divert Example");
    }
}

2.2 特征工程

描述：从原始数据流中提取不同的特征集，用于不同的模型训练或分析。

代码示例：

import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.output.SideOutput;
import org.apache.flink.streaming.api.output.SideOutputMode;

public class FeatureEngineeringExample {
    public static void main(String[] args) throws Exception {
        final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        final OutputTag<String> featureAOutputTag = new OutputTag<String>("feature-a-output"){};
        final OutputTag<String> featureBOutputTag = new OutputTag<String>("feature-b-output"){};

        DataStream<String> input = env.fromElements("feature1", "feature2", "feature3");

        DataStream<String> featureAStream = input.map(new MapFunction<String, String>() {
            @Override
            public String map(String value) throws Exception {
                // 假设提取特征A的逻辑
                return "Feature A: " + value;
            }
        }).output(featureAOutputTag);

        DataStream<String> featureBStream = input.map(new MapFunction<String, String>() {
            @Override
            public String map(String value) throws Exception {
                // 假设提取特征B的逻辑
                return "Feature B: " + value;
            }
        }).output(featureBOutputTag);

        // 获取旁侧输出流
        DataStream<String> featureASideOutput = featureAStream.getSideOutput(featureAOutputTag);
        DataStream<String> featureBSideOutput = featureBStream.getSideOutput(featureBOutputTag);

        // 输出特征数据流
        featureASideOutput.print("Feature A Stream:");
        featureBSideOutput.print("Feature B Stream:");

        env.execute("Flink Feature Engineering Example");
    }
}

2.3 实时监控

描述：实时监控数据流中的某些指标，如流量大小、异常率等，并将监控结果输出到监控系统。

代码示例：

import org.apache.flink.api.common.functions.ReduceFunction;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.output.SideOutput;
import org.apache.flink.streaming.api.output.SideOutputMode;
import org.apache.flink.streaming.api.windowing.time.Time;

public class RealTimeMonitoringExample {
    public static void main(String[] args) throws Exception {
        final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        final OutputTag<String> monitoringOutputTag = new OutputTag<String>("monitoring-output"){};

        DataStream<String> input = env.fromElements("data1", "data2", "data3");

        // 计算窗口内数据的数量
        DataStream<Long> countStream = input
            .keyBy((value) -> "monitoring-key") // 假设所有数据使用相同的key进行聚合
            .timeWindow(Time.seconds(10))
            .reduce(new ReduceFunction<String>() {
                @Override
                public String reduce(String value1, String value2) throws Exception {
                    return "Count: " + 1; // 简化示例，实际应计算数量
                }
            });

        // 将监控数据输出到旁侧流
        countStream.output(monitoringOutputTag);

        // 获取旁侧输出流
        DataStream<String> monitoringSideOutput = countStream.getSideOutput(monitoringOutputTag);

        // 输出监控数据流
        monitoringSideOutput.print("Monitoring Stream:");

        env.execute("Flink Real-time Monitoring Example");
    }
}

2.4 数据备份

描述：在处理数据流时，将处理过程中的数据备份到不同的存储系统中，以便于数据恢复。

代码示例：


import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.output.SideOutput;
import org.apache.flink.streaming.api.output.SideOutputMode;

public class DataBackupExample {
    public static void main(String[] args) throws Exception {
        final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        final OutputTag<String> backupOutputTag = new OutputTag<String>("backup-output"){};

        DataStream<String> input = env.fromElements("data1", "data2", "data3");

        DataStream<String> backupStream = input.map(new MapFunction<String, String>() {
            @Override
            public String map(String value) throws Exception {
                // 假设备份数据的逻辑
                return "Backup: " + value;
            }
        }).output(backupOutputTag);

        // 获取旁侧输出流
        DataStream<String> backupSideOutput = backupStream.getSideOutput(backupOutputTag);

        // 输出备份数据流
        backupSideOutput.print("Backup Data Stream:");

        env.execute("Flink Data Backup Example");
    }
}

2.5 迟到数据处理

描述：在实时数据流处理中，由于网络延迟或数据生成的不均匀性，数据可能会迟到。Flink 允许定义水印（Watermark）来处理迟到数据，旁侧流可以用于将迟到的数据分流出来进行特殊处理。

代码示例：

import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.watermark.WatermarkGenerator;
import org.apache.flink.streaming.api.windowing.time.Time;
import org.apache.flink.streaming.api.windowing.assigners.TumblingProcessingTimeWindows;
import org.apache.flink.streaming.api.windowing.evictors.Evictor;
import org.apache.flink.streaming.api.output.SideOutput;
import org.apache.flink.streaming.api.output.SideOutputMode;

public class LateDataHandlingExample {
    public static void main(String[] args) throws Exception {
        final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        final OutputTag<String> lateOutputTag = new OutputTag<String>("late-data-output"){};
        
        DataStream<String> input = env.fromElements("event1", "event2", "event3");

        // 定义水印生成器，这里简化为每隔5秒生成一个时间戳为当前时间的水印
        WatermarkGenerator<String> watermarkGenerator = WatermarkGenerator.forBoundedOutOfOrderness((Time.seconds(5)), input)
            .withTimestampAssigner((value, timestamp) -> timestamp);

        // 使用旁侧流处理迟到数据
        DataStream<String> mainDataStream = input
            .assignTimestampsAndWatermarks(watermarkGenerator)
            .keyBy((value) -> "key") // 假设所有数据使用相同的key
            .window(TumblingProcessingTimeWindows.of(Time.seconds(10)))
            .sideOutputLateData(lateOutputTag, Evictor.<String>noOp());

        // 获取旁侧输出流
        DataStream<String> lateDataStream = mainDataStream.getSideOutput(lateOutputTag);

        // 输出主数据流和迟到数据流
        mainDataStream.print("On-Time Data Stream:");
        lateDataStream.print("Late Data Stream:");

        env.execute("Flink Late Data Handling Example");
    }
}

三、注意事项

  1. 性能影响：使用旁侧流可能会对性能产生一定的影响，因为数据需要被复制到不同的输出。

  2. 资源管理：旁侧流也需要资源来存储和管理，因此在设计系统时需要考虑资源的分配。

  3. 数据一致性：在使用旁侧流时，需要确保数据的一致性，特别是在有状态的 Flink 应用中。

Flink-侧边流
weixin_43947279的博客
07-08 1089
侧边流 废话少说，上代码 测试数据： {"data":{"order_id":"100001","user_id":"A001","amount":"10.2","create_time":"2021-07-08 00:59:59"},"table_name":"order_info"} {"data":{"order_id":"100001","sku_id":"11","sku_name":"可乐500ml","amount":"3.0","create_time":"2021-07-08 01:00:
flink侧流输出
qq_44698610的博客
10-27 1086
测流输出的方法建立多个分支 定义流的标签 传入处理器函数中 判断参数，进行分流 package com.uu.two import java.sql import java.sql.DriverManager import com.uu.two.utils.DateTrans import org.apache.flink.api.common.functions.{MapFunction, RichMapFunction} import org.apache.flink.api.common.st.
Flink 侧输出流
TB_CYX的博客
02-02 494
【代码】Flink 侧输出流。
Flink侧输出流
大怀特的博客
11-02 3154
除了从DataStream操作输出主结果流外,也可以生成任一数量的额外的侧输出流.结果流可以和主输出流的类型可以不匹配,并且侧输出流可以有不同类型.侧输出流的操作当你分流时非常有用,之前你需要先复制一个流再过滤出来,有了侧输出流,就不需要这样操作. 当使用侧输出流时,首先需要定义一个OutputTag,它将要被用来确定一个侧输出流. val outputTag = OutputTag[String]("side-output") 注意:侧输出流的类型是根据侧输出流包括元素的类型来确定. 可以从.
Flink——Side Output侧输出流
稚枭天卓
02-21 2022
主要内容： 结合应用场景，介绍Flink侧输出流的使用流程和原理 在处理数据的时候，有时候想对不同情况的数据进行不同的处理，那么就需要把数据流进行分流。可以在主数据流上产生出任意数量额外的侧输出流。 1 场景 某公司使用埋点组件收集到了埋点数据，并实时写入了Kafka。其中，埋点数据共分为三类：Web端埋点数据、移动端埋点数据和CS端埋点数据。现在需要从Kafka读取埋点数据，并分别对三端数据做不同的处理逻辑： 2 Side Output 当然使用 filter 对主数据流进行过滤，也能满足上述场
Flink应用场景分析
01-20
今天我们就主要来了解下Flink应用场景分析。 Flink的提出，本身就是针对于实时流计算的，因为之前的无论是Hadoop框架还是Spark框架，都不能算是真正意义上的实时流计算处理引擎，只有Flink，实现了毫秒级低延迟的...
Apache Flink CEP复杂事件处理详解及实战案例
最新发布
10-15
内容概要：本文详细介绍了Apache Flink的FlinkCEP模块，讲解了其安装配置、事件流处理基础及其应用场景，其中包括电商欺诈检测、网络监控、实时交易系统的模式匹配以及社交媒体趋势分析的具体实现。通过多个实战示例...
Flink七武器及应用实战.pdf
12-26
综上所述，Flink不仅具备强大的流处理能力，还具有丰富的功能特性和应用场景。无论是对于开发者还是企业用户来说，掌握Flink的关键特性和最佳实践都是非常有价值的。随着大数据技术的发展，Flink的应用范围将会更加...
FlinkSQL实战：HBase的结合应用
02-23
HBase作为Google发表BigTable论文的开源实现版本，是一种分布式列式存储的数据库，...当然，本文假设用户有一定的HBase知识基础，不会详细去介绍HBase的架构和原理，本文着重介绍HBase和Flink在实际场景中的结合使用
Flink 在风控场景实时特征落地实战
是咕咕鸡
03-07 3621
背景介绍 风控简介 二十一世纪，信息化时代到来，互联网行业的发展速度远快于其他行业。一旦商业模式跑通，有利可图，资本立刻蜂拥而至，助推更多企业不断的入场进行快速的复制迭代，企图成为下一个“行业领头羊”。 ​ 带着资本入场的玩家因为不会有资金的压力，只会更多的关注业务发展，却忽略了业务上的风险点。强大如拼多多也被“薅羊毛”大军光顾损失千万。 ​ 风控，即风险管理（risk management），是一个管理过程，包括对风险的定义、测量、评估和应对风险的策略。目的是将可避免的风险、成本及损失极小化[1]。 特征
Flink 侧输出流（SideOutput）
weixin_61070671的博客
02-22 1790
ProcessFunction 的 side outputs 功能可以产生多条流，并且这些流的数据类型可以不一样。一个 side output 可以定义为 OutputTag[X]对象，X 是输出流的数据类型。process function 可以通过 Context 对象发射一个事件到一个或者多个 side outputs。注意：OutputTag是如何根据旁路输出流包含的元素类型typed的。✨可以通过以下几种函数发射数据到旁路输出。当使用旁路输出时，首先需要定义一个。来标识一个旁路输出流。
二、Flink侧面输出流Side outputs和异步IO流asyncIO
zybiao2的专栏
11-04 1404
对于带有Futures的实现，如果它有一个用于回调的Executor（或Scala中的ExecutionContext），我们建议使用DirectExecuto，因为回调通常只做最少的工作，而且DirectExecuter避免了额外的线程到线程切换开销。也就是说，在无序输出模式下，向工作队列添加更多60个容量可能不会影响吞吐量，在有序模式下，头元素是关键点，它保持未完成的时间越长，操作员提供的处理延迟越长，重试功能可能会增加头元素的未完成时间，如果实际上使用相同的超时限制获得了更多重试。
Flink 侧输出流使用
热门推荐
congge_study的博客
03-27 1万+
Flink 侧输出流使用
flink_sideOutput侧流输出
尤托匹亚的博客
01-28 1713
sideOutput 对于当前处理流中的部分或者全部数据单独输出到另外的流中 作用： 数据选择 ​ 对于当前处理的流可以进行自定义选择然后输出到独立的侧流中 异常数据保留 对于异常数据，输出到独立的侧流中，进行单独处理。如窗口中过期的延迟数据保留。 使用心法 可在如下算子中使用（别的方法貌似没有 Context 对象提供）： ProcessFunction KeyedProcessFunction CoProcessFunction KeyedCoProcessFunction Proce
大数据之Flink(8) | 侧输出流（SideOutput）
Knight
11-17 927
大部分的DataStream API的算子的输出是单一输出，也就是某种数据类型的流。除了split算子，可以将一条流分成多条流，这些流的数据类型也都相同。process function的side outputs功能可以产生多条流，并且这些流的数据类型可以不一样。一个side output可以定义为OutputTag[X]对象，X是输出流的数据类型。process function可以通过Context对象发射一个事件到一个或者多个side outputs。 需求:温度大于30输出一条流和温度小于30输
Flink 实践：侧输出
k_wzzc的博客
06-14 5644
什么是侧输出 在flink处理数据流时，我们经常会遇到这样的情况：在处理一个数据源时，往往需要将该源中的不同类型的数据做分割处理，如果使用 filter算子对数据源进行筛选分割的话，势必会造成数据流的多次复制，造成不必要的性能浪费；flink中的侧输出就是将数据流进行分割，而不对流进行复制的一种分流机制。flink的侧输出的另一个作用就是对延时迟到的数据进行处理，这样就可以不必丢弃迟到的数据。 侧...
大数据（9e）Flink侧输出流
ArYe
11-30 2123
sideOutputLateData side output 窗口允许迟到的数据，但仍有数据在关窗后到达 Flink提供了侧输出流（sideOutput）来处理关窗之后到达的数据 sideOutputLateData OutputTag sideOutput
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值