【Flink】Flink StreamingFileSink

1.概述

我发现BucketingSink可以完成StreamingFileSink可以执行的所有操作，例如将事件写入本地文件，NAS或HDFS文件（原始我认为BucketingSink只能将事件写入HDFS并且无法写入NAS或本地文件），但某些功能StreamingFileSink不会没有提供BucketingSink提供的内容，例如StreamingFileSink无法设置文件的前缀和后缀，但BucketingSink可以这样做，那么为什么我们需要StreamingFileSink，当存在BucketingSink时？

StreamingFileSink是一个最终将取代的新BucketingSink。BucketingSink有一些主要的限制（对S3的一致输出，支持Parquet和ORC等阻止格式），如果不重新设计就无法解决。StreamingFileSink实现这个新设计。

但是，正如您在当前状态（Flink 1.6）中注意到的那样，StreamingFileSink还不支持所有功能BucketingSink。

Flink流式计算的核心概念，就是将数据从Source输入流一个个传递给Operator进行链式处理，最后交给Sink输出流的过