一.引言
Flink 的数据处理主要分三步,第一步 Source 为数据源,分为 DataSet 和 DataStreaming ,后一步为 Transformation 负责处理和转换数据,针对不同的 DataSource,Transformation 可能会存在差异,最后一步是 sink 负责将结果输出。前面介绍了 DataSet 的 Source 和 Transformation,这里介绍下 DataSet 和 DataStreaming 的 Sink 相关 API。
Tips:
下述代码区分为 DataSet 和 DataStreaming,所以执行环境会有不同:
// 二者都需要引入
import org.apache.flink.streaming.api.scala._
// DataSet 选择
val env = ExecutionEnvironment.getExecutionEnvironment
// DataStreaming 选择
val env = StreamExecutionEnvironment.getExecutionEnvironment
二.DataSet
1.writeAsText
A.存储在本机和HDFS
writeAsText 可以根据地址的不同自适应的存储在 Local FileSystem