95-150-045-源码-Sink-Streaming Parquet File

1.视界

2.概述

更新至 Flink 1.8 版本

Flink 支持将流数据以文件的形式写入文件系统（HDFS、本地文件系统），支持 CSV、JSON 面向行的存储格式和 Parquet 面向列的存储格式。

应用场景：Flink 消费 Kafka 数据进行实时处理，并将结果以 Avro / Parquet 格式写入 HDFS。之后，遍可以使用 Spark 或 MPP 进行进一步分析。

由于流数据本身是无界的，所以，流数据将数据写入到分桶（bucket）中。默认使用基于时间的分桶策略。在分桶中，又根据滚动策略，将输出拆分为 part 文件。

Flink 提供了两个分桶策略，分桶策略实现了 org.apache.flink.streaming.api.functions.sink.filesystem.BucketAssigner</