将实时产生的数据流式写入到hdfs中

Data人生

已于 2022-02-09 16:42:37 修改

阅读量1.4k

点赞数

分类专栏： Flink #Sink 文章标签： flink hdfs 大数据

于 2021-01-11 10:45:18 首次发布

本文链接：https://blog.csdn.net/weixin_42138336/article/details/112463259

版权

本文介绍如何利用Flink的streamingFileSink功能，将不断生成的实时数据流有效且高效地存入HDFS文件系统。

摘要由CSDN通过智能技术生成

Flink采用streamingFileSink将实时产生的数据流式写入到hdfs中

import org.apache.flink.api.common.serialization.SimpleStringEncoder;
import org.apache.flink.core.fs.Path;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.sink.filesystem.OutputFileConfig;
import org.apache.flink.streaming.api.functions.sink.filesystem.StreamingFileSink<