一.引言
上一篇文章讲到了 Flink 如何获取数据生成 DataSet,这篇文章主要讨论 DataSet 后续支持的 Transform 转换函数。相较于 Spark,Flink 提供了更多的 API 和更灵活的写法与实现。
Tips :
下述示例均以该 env 为基础实现
import org.apache.flink.api.scala.ExecutionEnvironment
def main(args: Array[String]): Unit = {
//获取flink执行环境
val env = ExecutionEnvironment.getExecutionEnvironment
//导入隐式转换
import org.apache.flink.api.scala._
}
二.常见 Transformation
1.Map
Map 转换在数据集的每个元素上应用用户定义的 Map 函数。它实现了一对一的映射,即函数必须恰好返回一个元素。下述方法将原始字符都增加一个 '_test' 后缀并输出 。
val data: DataSet[(