1 前言
前面写了如何使用 Flink
读取常用的数据源,也简单介绍了如何进行自定义扩展数据源,本篇介绍它的下一步:数据转换 Transformation
,其中数据处理用到的函数,叫做算子 Operator
,下面是算子的官方介绍。
算子将一个或多个
DataStream
转换为新的DataStream
。程序可以将多种转换组合成复杂的数据流拓扑。
在学习过程中,官网是个不错的入门介绍,格式如下:
一共有两列,左边介绍了函数名称,转换前的流类型,以及转换后的流类型,右边进行了方法描述,介绍该算子的概念和作用,然后有个代码段,告诉了如何使用它。
但官网的中文介绍不多,有些例子 demo
也有点不完善,所以接下来我会将自己理解笔记贴下来,跟大家一起来学习。
友情提示,贴出来的代码段可能不完整,可以下载 github 上的代码进行参考。
2 转换 Transformation
2.1 Map,DataStream ---> DataStream
映射转换。输入是一个 DataStream
,输出也是一个 DataStream
,属于一对一操作,例如输入是 [1, 3, 5],然后每个数乘以 2,可以通过下面形式实现:
dataStream.map((MapFuction) <Integer, Integer>) value -> value * 2;);
将会输出 [2, 6, 10],也有可能不是如上顺序,默认按照程序处理数据的时间进行输出。
后面如果大家发现执行顺序与我展示的不一致,请不用担心,属于正常现象,由于顺序性问题涉及到时间和窗口属性的作用,所以请各位先按照默认情况运行,理解算子的概念和使用,之后再去了解上述概念。
2.2 FlatMap,DataStream ---> DataStream
"平坦"映射(不知道该如何翻译囧)。 不同于上面的单个操作,这是一对多操作,取一个元素并产生零个,一个或多个元素。例如拆分一行字符串,然后输出多个单词:
SingleOutputStreamOperator<String> operator = source.flatMap(new FlatMapFunction<String, String>() {
@Override
public void flatMap(String value, Collector<String> out) throws Exception {
String[] tokens = parseString2Tokens(value);
if (tokens == null) {
return;
}
for (String token : tokens) {
out.collect(token);
}
}
});
输出多个元素的关键是 Collector
这个参数,通过它可以收集到更多元素。
2.3 Filter,DataStream ---> DataStream
过滤操作。通过一个 boolean function
对元素进行过滤,保留为 true
的元素,从而达到过滤的目的。例如下面过滤操作,保留 id
是偶数的元素:
SingleOutputStreamOperator operator = source.filter((FilterFunction<String>) value -> {
Student stu = parseTokens2Object(parseString2Tokens(value));
return stu != null && stu.getId() % 2 == 0;
});
2.4 KeyBy,DataStream ---> KeyedStream
按键 key
进行分类。KeyBy
通过 Hash partitioning
方法将一个 stream
变成一组不相交的分区 partitions
,每个 partitions
包含的元素具有相同的 key
。例如输入的是一组字符串,根据第一个字段的整数值进行分类:
KeyedStream<String, Integer> keyedStream = source.keyBy((KeySelector<String, Integer>) value -> {
String[] tokens = parseString2Tokens(value);
return tokens == null ? 0 : Integer.valueOf(tokens[0]);
});
注意,KeyBy
操作后,流类型从 DataStream
变成了 keyedStream
,是一组 partition