flink实战--flinksql使用Streaming Sink将数据流写入文件系统

扫一扫加入大数据公众号和技术交流群，了解更多大数据技术，还有免费资料等你哦

Streaming Sink简介

                  Streaming Sink支持流的写操作，基于Flink的流文件接收器将数据写入文件。行编码格式是csv和json，批量编码的格式有parquet, orc和avro。极大的方便了我直接编写SQL，将流数据插入到非分区表中。如果是分区表，则可以配置分区相关的操作，本篇文章将详细介绍Streaming Sink相关的概念和使用方式以及如何实现流批数据的统一。

Streaming Sink解决的问题

           在介绍flink如何实现统一数据之前，我们先看一下，flink如何实现流批的元数据和计算引擎的统一，具体如下：

统一元数据

                Flink 一直持续致力于离线和实时的统一，首先是统一元数据。简单来说就是把