从0到1Flink的成长之路(七)

最新推荐文章于 2023-10-20 11:39:02 发布

熊老二-

最新推荐文章于 2023-10-20 11:39:02 发布

阅读量244

点赞数 3

分类专栏： Flink 文章标签： flink

本文链接：https://blog.csdn.net/weixin_51329630/article/details/117406516

版权

本文档详细介绍了Apache Flink批处理中数据终端Sink的使用，包括ds.print、ds.printToErr、ds.collect和ds.writeAsText等API，以及如何设置并行度影响输出路径。通过代码实例展示了如何将数据输出到控制台、本地集合以及文本和CSV文件，并利用RichMapFunction进行数据转换。

摘要由CSDN通过智能技术生成

数据终端 Sink

API

1.ds.print 直接输出到控制台
2.ds.printToErr() 直接输出到控制台,用红色
3.ds.collect 将分布式数据收集为本地集合
4.ds.setParallelism(1).writeAsText("本地/HDFS的path",WriteMode.OVERWRITE)

注意

在输出到path的时候，可以在前面设置并行度，如果
并行度>1，则path为目录
并行度=1，则path为文件名

代码演示

package xx.xxxxx.flink.sink;
import org.apache.flink.api.common.functions.RichMapFunction;
import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.api.java.operators.DataSource;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.core.fs.FileSystem;
import java.util.List;
/**
* DataSet API 批处理中数据终端：基于文件Sink
* 1.ds.print 直接输出到控制台
* 2.ds.printToErr() 直接输出到控制台,用红色
* 3.ds.collect 将分布式数据收集为本地集合
* 4.ds.setParallelism(1).writeAsText("本地/HDFS的path",WriteMode.OVERWRITE)
*
* 注意: 在输出到path的时候，可以在前面设置并行度，如果
* 并行度>1，则path为目录
* 并行度=1，则path为文件名
*/
pu