Flink / Scala - 7.DataSet & DataStream Sink 输出数据详解

BIT_666

已于 2022-10-25 17:27:34 修改

阅读量1.3k

点赞数

分类专栏： Flink 成长之路 Scala 文章标签： scala flink sink DataStream

于 2022-03-03 11:20:52 首次发布

本文链接：https://blog.csdn.net/BIT_666/article/details/123246672

版权

Flink 成长之路同时被 2 个专栏收录

64 篇文章 41 订阅 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

Scala

150 篇文章 5 订阅

订阅专栏

本文介绍了Flink中DataSet和DataStream的Sink操作，包括writeAsText、writeAsCsv、print、printToErr、OutputFormat、WriteToSocket、Kafka Consumer/Producer、Elasticsearch及自定义Sink的使用方法。通过实例展示了如何配置和使用这些Sink，以将数据输出到文件、控制台、Socket、Kafka和Elasticsearch。

摘要由CSDN通过智能技术生成

一.引言

Flink 的数据处理主要分三步，第一步 Source 为数据源，分为 DataSet 和 DataStreaming ，后一步为 Transformation 负责处理和转换数据，针对不同的 DataSource，Transformation 可能会存在差异，最后一步是 sink 负责将结果输出。前面介绍了 DataSet 的 Source 和 Transformation，这里介绍下 DataSet 和 DataStreaming 的 Sink 相关 API。

Tips:

下述代码区分为 DataSet 和 DataStreaming，所以执行环境会有不同:

    // 二者都需要引入
    import org.apache.flink.streaming.api.scala._

    // DataSet 选择
    val env = ExecutionEnvironment.getExecutionEnvironment
    // DataStreaming 选择
    val env = StreamExecutionEnvironment.getExecutionEnvironment

二.DataSet

1.writeAsText

A.存储在本机和HDFS

writeAsText 可以根据地址的不同自适应的存储在 Local FileSystem

了解本专栏

超级会员免费看

BIT_666

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
Flink / Scala - 7.DataSet & DataStream Sink 输出数据详解

一.引言Flink 的数据处理主要分三步，第一步 Source 为数据源，分为 DataSet 和 DataStreaming ，后一步为 Transformation 负责处理和转换数据，针对不同的 DataSource，Transformation 可能会存在差异，最后一步是 sink 负责将结果输出。前面介绍了 DataSet 的 Source 和 Transformation，这里介绍下 DataSet 和 DataStreaming 的 Sink 相关 API。Tips:下述代码区
复制链接

扫一扫