Flink DataStream分流、合流

最新推荐文章于 2024-11-01 18:05:04 发布
最新推荐文章于 2024-11-01 18:05:04 发布
阅读量450 收藏
点赞数
分类专栏： Flink 文章标签： flink
原文链接：https://blog.csdn.net/wangpei1949/article/details/99698868
版权

原文链接：https://blog.csdn.net/wangpei1949/article/details/99698868

本文总结Flink DataStream 中非常有用的功能，分流和合流。

分流(Split/Side)

分流可以将一个流拆分成多个流。

基于Split...Select...

package com.bigdata.flink;

import lombok.extern.slf4j.Slf4j;
import org.apache.flink.api.java.tuple.Tuple3;
import org.apache.flink.streaming.api.collector.selector.OutputSelector;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.SplitStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

import java.util.ArrayList;

/**
 * Author: Wang Pei
 * Summary:
 *  分流：基于Split-Select
 */
@Slf4j
public class SplitStreamBySplit {
    public static void main(String[] args) throws Exception{

        /**运行环境*/
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        /**输入数据源*/
        DataStreamSource<Tuple3<String, String, String>> source = env.fromElements(
                new Tuple3<>("productID1", "click", "user_1"),
                new Tuple3<>("productID1", "click", "user_2"),
                new Tuple3<>("productID1", "browse", "user_1"),
                new Tuple3<>("productID2", "browse", "user_1"),
                new Tuple3<>("productID2", "click", "user_2"),
                new Tuple3<>("productID2", "click", "user_1")
        );

        /**1、定义拆分逻辑*/
        SplitStream<Tuple3<String, String, String>> splitStream = source.split(new OutputSelector<Tuple3<String, String, String>>() {
            @Override
            public Iterable<String> select(Tuple3<String, String, String> value) {

                ArrayList<String> output = new ArrayList<>();
                if (value.f0.equals("productID1")) {
                    output.add("productID1");

                } else if (value.f0.equals("productID2")) {
                    output.add("productID2");
                }

                return output;

            }
        });

        /**2、将流真正拆分出来*/
        splitStream.select("productID1").print();

        env.execute();
    }
}

注意：

  1. Split...Select...中Split只是对流中的数据打上标记,并没有将流真正拆分。可通过Select算子将流真正拆分出来。
  2. Split...Select...不能连续分流。即不能Split...Select...Split，但可以如Split...Select...Filter...Split。
  3. Split...Select...已经过时，推荐使用更灵活的侧路输出(Side-Output)，如下。

基于Side-Output

package com.bigdata.flink;

import lombok.extern.slf4j.Slf4j;
import org.apache.flink.api.java.tuple.Tuple3;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.ProcessFunction;
import org.apache.flink.util.Collector;
import org.apache.flink.util.OutputTag;


/**
 * Author: Wang Pei
 * Summary:
 *  分流：基于SideOutput(侧路输出)
 */
@Slf4j
public class SplitStreamBySideOutput {
    public static void main(String[] args) throws Exception{

        /**运行环境*/
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        /**输入数据源*/
        DataStreamSource<Tuple3<String, String, String>> source = env.fromElements(
                new Tuple3<>("productID1", "click", "user_1"),
                new Tuple3<>("productID1", "click", "user_2"),
                new Tuple3<>("productID1", "browse", "user_1"),
                new Tuple3<>("productID2", "browse", "user_1"),
                new Tuple3<>("productID2", "click", "user_2"),
                new Tuple3<>("productID2", "click", "user_1")
        );

        /**1、定义OutputTag*/
        OutputTag<Tuple3<String, String, String>> sideOutputTag = new OutputTag<Tuple3<String, String, String>>("side-output-tag"){};

        /**2、在ProcessFunction中处理主流和分流*/
        SingleOutputStreamOperator<Tuple3<String, String, String>> processedStream = source.process(new ProcessFunction<Tuple3<String, String, String>, Tuple3<String, String, String>>() {
            @Override
            public void processElement(Tuple3<String, String, String> value, Context ctx, Collector<Tuple3<String, String, String>> out) throws Exception {

                //侧流-只输出特定数据
                if (value.f0.equals("productID1")) {
                    ctx.output(sideOutputTag, value);

                //主流
                }else {
                    out.collect(value);
                }

            }
        });

        //获取主流
        processedStream.print();
        //获取侧流
        processedStream.getSideOutput(sideOutputTag).print();

        env.execute();
    }
}

注意：

  1. Side-Output是从Flink 1.3.0开始提供的功能，支持了更灵活的多路输出。
  2. Side-Output可以以侧流的形式，以不同于主流的数据类型，向下游输出指定条件的数据、异常数据、迟到数据等等。
  3. Side-Output通过ProcessFunction将数据发送到侧路OutputTag。

合流(Union/Connect)

合流可以将多个流合并成一个流。

基于Union

package com.bigdata.flink;

import lombok.extern.slf4j.Slf4j;
import org.apache.flink.api.java.tuple.Tuple3;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

/**
 * Author: Wang Pei
 * Summary:
 *  合流：基于Union
 */
@Slf4j
public class UnionStreamByUnion {
    public static void main(String[] args) throws Exception{

        /**运行环境*/
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        /**输入数据源source1*/
        DataStreamSource<Tuple3<String, String, String>> source1 = env.fromElements(
                new Tuple3<>("productID1", "click", "user_1")
        );

        /**输入数据源source2*/
        DataStreamSource<Tuple3<String, String, String>> source2 = env.fromElements(
                new Tuple3<>("productID3", "click", "user_1"),
                new Tuple3<>("productID3", "click", "user_2")
        );

        /**输入数据源source3*/
        DataStreamSource<Tuple3<String, String, String>> source3 = env.fromElements(
                new Tuple3<>("productID2", "browse", "user_1"),
                new Tuple3<>("productID2", "click", "user_2"),
                new Tuple3<>("productID2", "click", "user_1")
        );

        /**合并流*/
        source1.union(source2,source3).print();

        env.execute();
    }
}

注意:

  1. Union可以将两个或多个同数据类型的流合并成一个流。

基于Connect

package com.bigdata.flink;

import lombok.extern.slf4j.Slf4j;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.api.java.tuple.Tuple3;
import org.apache.flink.streaming.api.datastream.ConnectedStreams;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.co.CoMapFunction;

/**
 * Author: Wang Pei
 * Summary:
 *  合流：基于Connect
 */
@Slf4j
public class UnionStreamByConnect {
    public static void main(String[] args) throws Exception{

        /**运行环境*/
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        /**输入数据源source1*/
        DataStreamSource<Tuple3<String, String, String>> source1 = env.fromElements(
                new Tuple3<>("productID1", "click", "user_1")
        );

        /**输入数据源source2*/
        DataStreamSource<String> source2 = env.fromElements(
                "productID3:click:user_1",
                "productID3:browse:user_2"
        );

        /**1、合并流*/
        ConnectedStreams<Tuple3<String, String, String>, String> connectedStream = source1.connect(source2);

        /**2、用CoMap处理合并后的流*/
        SingleOutputStreamOperator<Tuple2<String, String>> resultStream = connectedStream.map(new CoMapFunction<Tuple3<String, String, String>, String, Tuple2<String, String>>() {

            //定义第一个流的处理逻辑
            @Override
            public Tuple2<String, String> map1(Tuple3<String, String, String> value) throws Exception {
                return new Tuple2<>(value.f1, value.f2);
            }

            //定义第二个流的处理逻辑
            @Override
            public Tuple2<String, String> map2(String value) throws Exception {
                String[] valueSplit = value.split(":");
                return new Tuple2<>(valueSplit[1], valueSplit[2]);
            }
        });

        resultStream.print();

        env.execute();
    }
}

注意:

  1. Connect可以用来合并两种不同类型的流。
  2. Connect合并后，可用map中的CoMapFunction或flatMap中的CoFlatMapFunction来对合并流中的每个流进行处理。
Flink DataStream Split 实现分流
SmartSi
09-07 628
需要注意的是 Split 只是对数据流中的数据进行标记，并没有实现数据流的真正拆分。使用 Split 实现分流需要在 split 算子中定义 OutputSelector，然后重写其中的 select 方法，将不同类型的数据进行标记，最后对返回的 SplitStream 使用 select 方法将对应的数据选择出来。所谓分流，就是将一条数据流拆分成完全独立的两条、甚至多条流。一般来说，我们会定义一些筛选条件，将符合条件的数据拣选出来放到对应的流里。需要注意的是 Split 不支持连续分流，即不支持。
流批一体计算引擎-11-[Flink]实战使用DataStream对接kafka
qq_20466211的博客
07-04 773
flink的DataStream对接kafka
Flink DataStream的使用 - 对数据的读取、使用、输出的操作
最新发布
LC的博客
11-01 1952
Flink DataStream的使用 - 对数据的读取、使用、输出的操作
flink实战例子 DataStream api Side Outputs 分流
笔生花的博客
09-10 289
分流 Side Outputs 除了DataStream操作产生的主流外，还可以生成任意数量的附加流 。附加流中的数据类型不必与主流中的数据类型相匹配，不同流端输出的类型也可以不同。当您想要分割数据流时，这个操作可能很有用，通常您必须复制数据流，然后从每个流中过滤出您不想拥有的数据。 上面的话,是官网的介绍,有些拗口,其实更通俗的说法就是,对于源数据流可以通过处理后生成新的复制流, 此操作可以多次进行. 比如你相对源数据做不同的处理,一份处理后存入mysql,一份处理后存入kafka,一份处理后存入hdfs
Flink---分流
shall潇の菜园
07-06 539
Flink中将一个流拆分成多个流的方法有两个：split(已过时)，process（推荐） 文章目录splitprocess split package Flink.transform; import Flink.beans.SensorReading; import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.common.functions.RichMapFunction; impor.
Flink的DataStream介绍
全栈开发的博客
09-04 1600
1|0一：流式处理基本概念 　　流处理系统本身有很多自己的特点。一般来说，由于需要支持无限数据集的处理，流处理系统一般采用一种数据驱动的处理方式。它会提前设置一些算子，然后等到数据到达后对数据进行处理。 　　为了表达复杂的逻辑，flink在内的分布式流处理引擎，一般采用 DAG 图来表示整个计算逻辑，其中 DAG 图中的每一个点就代表一个基本的逻辑单元，也就是前面说的算子，由于计算逻辑被组织成有向图，数据会按照边的方向，从一些特殊的 Source 节点流入系统，然后通过网络传输、本地传输等不同的数据传输
Apache Flink中数据分流与合流操作详解
数据分流与合流是流式计算中常见的两种数据操作，分别用于将数据按照特定规则拆分成多个流，或者将多个流合并成一个流。这两种操作在实际场景中有着广泛的应用，可以帮助用户更灵活地处理和分析数据。 ## 1.3 相关...
Flink读取Kafka数据，进行流处理APi操作（wordcount，分流，合流）
徐磊的博客
02-06 2255
文章目录一、pom文件Finl跟Kafka结合的包將json轉換成對象的依賴剩下做需要的包，我在文章： https://blog.csdn.net/qq_44472134/article/details/104193662 中的《API操作》中提过，不知道的可以到这个网址上看看二、将Kafka作为数据源，通过Flink进行词频统计三、通过split和select进行分流，然后再存进Kafka 一...
Flink 1.8实现实时数据的分流与合流
Flink 1.8是Flink的一个重要版本发布，引入了许多新的特性和功能。 Flink 1.8的主要特性包括： - 支持动态表连接：Flink 1.8引入了动态表连接功能，允许在流处理中动态连接表，使得数据流的处理更灵活和高效。 - ...
Flink常用转换（transformation）算子使用教程（DataSTream API）
SunnyRivers
08-21 257
一个 Flink 程序，其实就是对 DataStream 的各种转换。获取执行环境（execution environment）读取数据源（source）定义基于数据的转换操作（transformations）定义计算结果的输出位置（sink）触发程序执行（execute）数据源读入数据之后，我们就可以使用各种转换算子，将一个或多个 DataStream 转换为新的 DataStream，如上图所示。一个 Flink 程序的核心，其实就是所有的转换操作，它们决定了处理的业务逻辑。
【Flink-1.17-教程】-【四】Flink DataStream API（5）转换算子（Transformation）【分流】
weixin_53543905的博客
01-23 659
所谓“分流”，就是将一条数据流拆分成完全独立的两条、甚至多条流。也就是基于一个 DataStream，定义一些筛选条件，将符合条件的数据拣选出来放到对应的流里。关于处理函数中侧输出流的用法，我们已经在 flatmap 课节做了详细介绍。简单来说，只需要调用上下文 ctx 的 .output() 方法，就可以输出任意类型的数据了。而侧输出流的标记和提取，都离不开一个“输出标签”（OutputTag），指定了侧输出流的 id 和类型。
Flink DataStream概览
2.wa
11-15 387
目录结构 示例程序 Data Sources（数据源） 基于文件 基于套接字 基于集合 自定义 DataStream Transformations（转换操作） Data Sinks（输出端） 容错能力 控制延迟 该专栏内容与 flink-notes 同步，源码与 flink-advanced 同步。 本节内容对应官方文档 示例程序 示例源码 object StreamingSimp...
Flink实时处理之DataStream
TU_JCN的博客
08-20 930
Flink的API概览 1、dataStream的数据源 1.1、socket数据源socketTextStream 从socket当中接收数据，并统计最近5秒钟每个单词出现的次数 第一步：node01开发socket服务 node01执行以下命令开启socket服务 nc -lk 9000 第二步：开发代码实现 import org.apache.flink.streaming.api.scala.{DataStream, StreamExecutionEnvironment} import org.
Flink中的分流合流操作
qq_42456324的博客
11-07 1474
（co-process）转换操作，用来说明对于不同来源、不同类型的数据，怎样分别进行处理转换、得到统一的输出类型。所以整体上来，两条流的连接就像是“一国两制”，两条流可以保持各自的数据类型、处理方式也可以不同，不过最终还是会统一到同一个 DataStream 中。
Flink DataStream使用
呼呼的小窝
04-18 1312
DataStreamDataSourcesSourceFunction简介Stream SourcesFile-basedSocket-basedCollectionbasedCustomSourceFunction基本使用SourceFunction& ParallelSourceFunction案例代码具体讲解RichParallelSourceFunction实现MySQLSourc...
Flink多流转换（1）—— 分流&合流
WHY的博客
01-23 2170
本文介绍了flink多流转换中的分流和河流
Flink学习-DataStream-KafkaConnector
迷路剑客个人博客
01-16 945
Flink学习-DataStream-KafkaConnector 摘要 本文主要介绍Flink1.9中的DataStream之KafkaConnector，大部分内容翻译、整理自官网。以后有实际demo会更新。 可参考kafka-connector 如果关注Table API & SQL中的KafkaConnector，请参考Flink学习3-API介绍-SQL 1 Maven依赖 Fl...
Flink的DataStream学习笔记（后面没看懂）
方法属性类，一个都不会
08-03 355
Flink是一个低延迟、高吞吐的实时计算引擎，其利用分布式一致性快照实现检查点容错机制，并实现了更好的状态管理，Flink可在毫秒级的延迟下处理上亿次/秒的消息或者事件，同时提供了一个Exactly-once的一致性语义，保证了数据的正确性，使得Flink可以提供金融级的数据处理能力，总结其高级特性包括CSTW(CheckPoint，Statue，Time，windows) Flink和Spark对比 设计思路 Spark的技术理念是基于批来模拟流，微批处理的延时较高（无法优化到秒以下的数量级）.
Flink DataStream
06-03
Flink DataStream 是 Apache Flink 中用于处理流式数据的 API，它提供了丰富的操作符和工具，支持流式数据的转换、聚合、分组、连接等操作。Flink DataStream API 提供了高度的可编程性和灵活性，允许用户通过编写 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值