Flink数据,写入HDFS - 使用 StreamingFileSink
一、应用场景:Flink 消费 Kafka 数据进行实时处理,并将结果写入 HDFS。二、Streaming File Sink由于流数据本身是无界的,所以,流数据将数据写入到分桶(bucket)中。默认使用基于系统时间(yyyy-MM-dd–HH)的分桶策略。在分桶中,又根据滚动策略,将输出拆分为 part 文件。1、Flink 提供了两个分桶策略,分桶策略实现了org.apache.flink.streaming.api.functions.sink.filesystem.BucketAss
原创
2020-11-24 14:41:59 ·
11462 阅读 ·
8 评论