Flink之DataStream的常用转换算子

最新推荐文章于 2023-02-19 00:19:37 发布
最新推荐文章于 2023-02-19 00:19:37 发布
阅读量1.4k 收藏 4
点赞数 1
分类专栏： Flink Bigdata
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lzxlfly/article/details/108921192
版权

1、Map [DataStream->DataStream]

（1）说明

调用用户定义的MapFunction对DataStream[T]数据进行处理，形成新的Data-Stream[T]，其中数据格式可能会发生变化，常用作对数据集内数据的清洗和转换。例如将输入数据集中的每个数值全部加 1 处理，并且将数据输出到下游数据集

2、FlatMap [DataStream->DataStream]

（1）说明

该算子主要应用处理输入一个元素产生一个或者多个元素的计算场景， 比较常见的是在经典例子 WordCount 中，将每一行的文本数据切割，生成单词序列。如下图所示，对于输入DataStream[String]通过 FlatMap 函数进行处理， 字符串数字按逗号切割， 然后形成新的整数数据集。

 

3、Filter [DataStream->DataStream]

（1）说明

该算子将按照条件对输入数据集进行筛选操作， 将符合条件的数据集输出， 将不符合条件的数据过滤掉。如下图所示将输入的奇数从数据集中过滤掉

4、KeyBy [DataStream->KeyedStream]

（1）说明

该算子根据指定的Key将输入的DataStream[T]数据格式转换为KeyedStream[T]，也就是在数据集中执行Partition操作，将相同的Key值的数据放置在相同的分区中。如下图所示， 将集合中颜色相同的方块按照key分方在同一区域

（2）举例

上图中实现如下：

import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.co.CoFlatMapFunction;
import org.apache.flink.util.Collector;
 
public class TestFlinkOperator {
    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        DataStreamSource<Tuple2<Long,Long>> stream = env.fromElements(
        		Tuple2.of(1L, 1L),
        		Tuple2.of(1L, 5L),
        		Tuple2.of(1L, 0L),
        		Tuple2.of(2L, 2L),
        		Tuple2.of(2L, 3L)
        		);
        stream.keyBy(0).print();
        env.execute();
    }
}

 输出

3> (1,1)
3> (1,5)
3> (1,0)
4> (2,2)
4> (2,3)

5、Reduce [KeyedStream->DataStream]

（1）说明

该算子和MapReduce中Reduce原理基本一致，主要目的是将输入的KeyedStream通过传入的用户自定义的ReduceFunction滚动地进行数据聚合处理，其中定义的ReduceFunciton必须满足运算结合律和交换律。如下代码对传入keyedStream数据集中相同的key值的数据独立进行求和运算，得到每个key所对应的求和值。

（2）举例

例如，按key分组对value进行累加

import org.apache.flink.api.common.functions.ReduceFunction;
import org.apache.flink.api.common.functions.RichFlatMapFunction;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.util.Collector;
 
public class TestFlinkOperator {
    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        DataStreamSource<Tuple2<Long,Long>> textDataSteam = env.fromElements(
        		Tuple2.of(1L, 3L),
        		Tuple2.of(1L, 5L), 
        		Tuple2.of(1L, 7L), 
        		Tuple2.of(1L, 4L), 
        		Tuple2.of(2L, 2L)
        		);
        SingleOutputStreamOperator<Tuple2<Long, Long>> dataSteam = 
        		textDataSteam
        		.flatMap(new MyFlatMapFunction())
        		.keyBy(0).reduce(new MyReduceMapFunction());
        dataSteam.print();
        env.execute();
    }
}

class MyFlatMapFunction extends RichFlatMapFunction<Tuple2<Long, Long>, Tuple2<Long, Long>> {
	private static final long serialVersionUID = -6478853684295335571L;
	@Override
	public void flatMap(Tuple2<Long, Long> value, Collector<Tuple2<Long, Long>> out) throws Exception {
		out.collect(Tuple2.of(value.f0, value.f1));
	}
}
class MyReduceMapFunction implements ReduceFunction<Tuple2<Long, Long>> {
	private static final long serialVersionUID = -6478853684295335571L;

	@Override
	public Tuple2<Long, Long> reduce(Tuple2<Long, Long> value1, Tuple2<Long, Long> value2) throws Exception {
		return Tuple2.of(value1.f0, value1.f1  + value2.f1);
	}
}

 输出

3> (1,5)
3> (1,8)
3> (1,12)
3> (1,19)
4> (2,2)

6、Aggregations[KeyedStream->DataStream]

（1）说明

Aggregations是KeyedDataStream 接口提供的聚合算子，根据指定的字段进行聚合操作，滚动地产生一系列数据聚合结果。其实是将 Reduce算子中的函数进行了封装，封装的聚合操作有sum、min、miniBy、max、maxBy等，这样就不需要用户自己定义 Reduce 函数。

（2）举例

import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.co.CoFlatMapFunction;
import org.apache.flink.util.Collector;
 
public class TestFlinkOperator {
    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        DataStreamSource<Tuple2<Long,Long>> stream = env.fromElements(
        		Tuple2.of(1L, 3L),
        		Tuple2.of(1L, 8L),
        		Tuple2.of(1L, 5L),
        		Tuple2.of(2L, 6L),
        		Tuple2.of(2L, 7L)
        		);
        stream.keyBy(0).sum(1).print();
        stream.keyBy(0).min(1).print("min");
        stream.keyBy(0).minBy(1).print("minby");
        stream.keyBy(0).max(1).print("max");
        stream.keyBy(0).maxBy(1).print("maxby");
        env.execute();
    }
}

7、Union[DataStream ->DataStream]

（1）说明

Union 算子主要是将两个或者多个输入的数据集合并成一个数据集，需要保证两个数据集的格式一致，输出的数据集的格式和输入的数据集格式保持一致。

（2） 举例

import org.apache.flink.api.common.functions.ReduceFunction;
import org.apache.flink.api.common.functions.RichFlatMapFunction;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.util.Collector;
 
public class TestFlinkOperator {
    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        DataStreamSource<Tuple2<Long,Long>> stream1 = env.fromElements(
        		Tuple2.of(1L, 3L),
        		Tuple2.of(1L, 5L)
        		);
        DataStreamSource<Tuple2<Long,Long>> stream2 = env.fromElements(
        		Tuple2.of(1L, 7L), 
        		Tuple2.of(1L, 4L)
        		);
        DataStreamSource<Tuple2<Long,Long>> stream3 = env.fromElements(
        		Tuple2.of(2L, 2L)
        		);
        //合并一个或多个DataStream数据集
        stream1.union(stream2,stream3).print();
        env.execute();
    }
}

 输出

4> (1,3)
2> (1,4)
1> (1,5)
1> (1,7)
3> (2,2)

8、Connect ，CoMap ，CoFlatMap[DataStream ->ConnectedStream->DataStream]

（1）说明

Connect算子主要是为了合并两种或者多种不同数据类型的数据集，合并后会保留原来数据集的数据类型。例如：dataStream1数据集为(Long,Long)元祖类型，dataStream2数据集为Long类型，通过connect连接算子将两个不同数据类型的流结合在一起，形成格式为ConnectedStreams的数据集，其内部数据为[(Long,Long),Int]的混合数据类型，保留了两个原始数据集的数据类型。

（2）举例

将两个不同类型的流stream1与stream2连接在一起，为connectedStreams，再用CoMap或者CoFlatMap将连接的connectedStreams流转换成同一类型的流，这样就合并了两个不同类型的流为同一类型。

import org.apache.flink.api.common.functions.ReduceFunction;
import org.apache.flink.api.common.functions.RichFlatMapFunction;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.ConnectedStreams;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.co.CoFlatMapFunction;
import org.apache.flink.util.Collector;
 
public class TestFlinkOperator {
    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        DataStreamSource<Tuple2<Long,Long>> stream1 = env.fromElements(
        		Tuple2.of(1L, 3L),
        		Tuple2.of(1L, 5L)
        		);
        DataStreamSource<Long> stream2 = env.fromElements(
                 2L,3L
        		);
        //将stream1与stream2连接在一起，为connectedStreams
        ConnectedStreams<Tuple2<Long, Long>, Long> connectedStreams = stream1.connect(stream2);
        //将连接的connectedStreams转换成同一类型的流
        connectedStreams.flatMap(new MyCoFlatMapFunction()).print();
        env.execute();
    }
}

class MyCoFlatMapFunction implements CoFlatMapFunction<Tuple2<Long,Long>, Long, Tuple2<Long, Long>> {
	private static final long serialVersionUID = -6478853684295335571L;
	
	@Override
	public void flatMap1(Tuple2<Long, Long> value, Collector<Tuple2<Long, Long>> out) throws Exception {
		out.collect(value);//stream1
	}
	@Override
	public void flatMap2(Long value, Collector<Tuple2<Long, Long>> out) throws Exception {
		out.collect(Tuple2.of(value, 0L));//stream2转换成/stream1类型
	}
}

输出

4> (1,5)
3> (1,3)
3> (3,0)
2> (2,0)

 

9、Split 和 和 select [DataStream->SplitStream->DataStream]

（1）说明

Split算子是将一个DataStream数据集按照条件进行拆分，形成两个数据集的过程，也是union算子的逆向实现。每个接入的数据都会被路由到一个或者多个输出数据集中。

（2）举例

将二元组中key为1和2的拆分为两个流

import java.util.ArrayList;
import java.util.List;

import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.collector.selector.OutputSelector;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.SplitStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.co.CoFlatMapFunction;
import org.apache.flink.util.Collector;
 
public class TestFlinkOperator {
    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        DataStreamSource<Tuple2<Long,Long>> stream = env.fromElements(
        		Tuple2.of(1L, 3L),
        		Tuple2.of(1L, 5L),
        		Tuple2.of(2L, 6L)
        		);
        
        SplitStream<Tuple2<Long, Long>> splitStream = stream.split(new OutputSelector<Tuple2<Long,Long>>() {
			private static final long serialVersionUID = 1L;
			@Override
			public Iterable<String> select(Tuple2<Long, Long> value) {
				List<String>  list = new ArrayList<>();
				if(value.f0==1L) {
					list.add("1");
				} else {
					list.add("2");
				}
				return list;
			}
		});
        splitStream.select("1").print("流1：");
        splitStream.select("2").print("流2：");
        env.execute();
    }
}

输出

流2：:1> (2,6)
流1：:3> (1,3)
流1：:4> (1,5)

 

参考：https://ci.apache.org/projects/flink/flink-docs-release-1.9/zh/dev/stream/operators/

Relian哈哈
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
matlab主成分分析散点图_主成分分析与matlab
weixin_31282459的博客
12-23 2356
https://blog.csdn.net/nanhaiyuhai/article/details/79304671主成分分析又称主分量分析，由皮尔逊在1901年首次引入，后来由霍特林在1933年进行了发展。主成分分析是一种通过降维技术把多个变量化为少数几个主成分(即综合变量)的多元统计方法，这些主成分能够反映原始变量的大部分信息，通过表示为原始变量的线性组合，为了使得这些主成分所包含的信息互不重...
php location.href传递参数_PHP如何计算数组中所有值的乘积？（代码示例）
weixin_39765290的博客
12-05 110
array_product()是PHP中的一个内置函数，它可以返回给定数组中所有数字的乘积。该函数接受一个仅由数字组成的数组。如果数组中除了数字之外还有其他数据，则函数返回0。语法:array_product($array)参数：函数有一个强制参数$array，为其计算所有值的乘积。返回值：该函数根据以下情况返回三个不同的值:如果数组包含至少一个非数字数据，则返回0。当一个空数组作为参数传递时，它...
matlab主成分分析散点图_主成分分析及MATLAB应用
weixin_42356475的博客
02-26 353
及(,)0,1,2,..., 1.T i k i k Cov Y Y l l k i =∑==-下，求 l i 使 Var(Y i )达到最大，由此 l i 所确定的T i i Y l X =称为 X 1，X 2，…，X p 的第 i 个主成分。 1.2 总体主成分的计算设 ∑是12(,,...,)T p X X X X =的协方差矩阵，∑的特征值及相应的正交单位化特征向量分别为120p λλλ≥...
聚类后PCA降维实例及三维散点图绘制
weixin_44510920的博客
10-09 7945
聚类分析 方法：BIRCH 数据来源：https://archive.ics.uci.edu/ml/index.php 或者：https://gitee.com/guet_seven_data-department/python_crawler_small/wikis/glass.csv?sort_id=2963383 数据集说明：数据集包含9个特征变量，分别为ri，na，mg，al，si，k，ca，ba，fe；1个类别变量glass_type,共有214个样本， 代码实现 from sk
DataStreamAPI-转换算子
m0_63475429的博客
10-06 1060
在前面的介绍我们可以发现，Flink 的 DataStream API 编程风格其实是一致的：基本上都 是基于 DataStream 调用一个方法，表示要做一个转换操作；方法需要传入一个参数，这个参 数都是需要实现一个接口。我们还可以扩展到 5.2 节讲到的 Source 算子，其实也是需要自定 义类实现一个 SourceFunction 接口。我们能否从中总结出一些规律呢？
通俗易懂之Flink DataStream API开发
02-07
本篇将深入探讨流处理的基本概念，以及Flink DataStream API的使用，包括算子操作、水印机制、状态管理、容错机制、异步IO、端对端一次性语义、Streaming file sink的运用，以及综合案例的开发。 1. **流处理基础**...
flink_DataStream:利用DataStream处理流数据
04-20
DataStream API是Flink的核心组件之一，它允许开发者以声明式的方式定义数据处理任务，支持批处理和流处理两种模式。 1. **DataStream API基础** DataStream API提供了一组丰富的算子，如map、filter、reduce、...
大数据学习之flink介绍及实战
12-14
Flink提供了DataStream API和DataSet API，分别用于处理无界流和有界流，此外还有Table API和SQL接口，方便开发人员进行声明式编程。 六、Flink容错机制 Flink通过检查点和保存点实现容错，保证在发生故障时能够...
【Flink篇09】Flink之状态编程1
08-04
举例来说，如果我们有一个`DataStream[SensorReading]`，我们可以使用`keyBy(_.id)`将其转换为`KeyedStream[SensorReading, String]`，然后定义一个过程函数（ProcessFunction）或过程窗口函数...
flink样例完整代码
最新发布
05-31
Flink提供了丰富的算子，如map、filter、join等，这些算子构建了数据处理的管道。 二、样例代码解析 样例代码通常包含了Flink的基本用法，例如如何创建流执行环境、读取数据源、应用转换操作、定义输出并提交作业...
PCA性能分析和散点图
06-01
对数据进行PCA特征提取后画出散点图盒图等进行性能分析
主成分分析—Principal components analysis
我们的时光！
04-14 3178
主成分分析
Flink API - 键控流转换算子与滚动聚合算子
weixin_44760145的博客
02-19 342
Flink keyBy 和 聚合算子
【Flink】多流转换
qq_30885821的博客
03-25 2173
多流转换 分流 就是基于侧输出流 // 定义侧输出流标签 OutputTag<String> outputTag = new OutputTag<String>("side-output"){}; public void processElement(){ // 转换成Long， 输出到主流中 out.collect(Long.valueof(value)); // 转换成String， 输出到侧输出流中 ctx.output(outputTag, String.valu
解决Flink案例DataStream中使用keyBy(0)，keyBy弃用的问题
呆萌的代Ma
09-24 2358
很多案例中： DataStream<Tuple2<String, Integer>> resultStream = inputDataStream.flatMap(new WordCount.MyFlatMapper()) .keyBy(0) // 这里弃用 .sum(1); 改为： DataStream<Tuple2<String, Integer>> resultStream =
Python 主成分分析PCA
杨航的专栏
11-23 2490
Python 主成分分析PCA 　　主成分分析（PCA）是一种基于变量协方差矩阵对数据进行压缩降维、去噪的有效方法，PCA的思想是将n维特征映射到k维上（k 相关知识 介绍一个PCA的教程：A tutorial on Principal Components Analysis ——Lindsay I Smith 1.协方差 Covariance 　　变量X和变量Y的协方差
一文了解可视化的主成分分析（附教程）
PUSHIAI的博客
11-11 1931
主成分分析 (PCA) 是一种无监督的机器学习技术。也许主成分分析最流行的用途是降维。但是，除了使用 PCA 作为数据准备技术之外，我们还可以使用它来帮助可视化数据。一张图片胜过千言万语。通过可视化数据，我们更容易获得一些见解并决定机器学习模型的下一步。 小普发布本次文章后，您将了解如何使用 PCA 将数据可视化，以及如何使用可视化来帮助确定降维参数。先赞后看是个好习惯。 完成本教程后，您将了解： 如何使用可视化高维数据 什么是PCA中的解释方差 从高维数据的PCA结果中直观地观察解释方差 让..
R语言编写自定义函数对数据进行标准化、prcomp函数对标准化后的数据进行主成分分析PCA、ggplot函数可视化前两个主成分对应的散点图（以性别字段区分颜色）
statistics+insight+vista+power
12-05 233
R语言编写自定义函数对数据进行标准化、prcomp函数对标准化后的数据进行主成分分析PCA、ggplot函数可视化前两个主成分对应的散点图（以性别字段区分颜色）
Apache Flink——DataStream的操作算子（章节三）
qq_38040765的博客
03-22 274
Operators 操作算子将一个或多个数据流转换为新的数据流。程序可以将多个转换组合成复杂的数据流拓扑。 本节将介绍基本的转换、应用这些转换后的有效物理分区以及对Flink操作符链接的深入了解。 DataStream Transformations 1.DataStream → DataStream map 获取一个元素并生成一个元素。例如：一个映射函数，使输入流的值加倍。 dataStre...
flink程序运行运用的算子
01-05
Flink程序运用的算子有很多种，以下是几个常用的算子示例： 1. Map算子：对输入流中的每个元素应用一个函数，并返回一个新的元素。可以用来进行数据的转换和处理。 ```java DataStream<Integer> input = ...; ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值