Flink消费Kafka数据，写入HDFS - 使用 StreamingFileSink

一、应用场景：

Flink 消费 Kafka 数据进行实时处理，并将结果写入 HDFS。

二、Streaming File Sink

由于流数据本身是无界的，所以，流数据将数据写入到分桶（bucket）中。默认使用基于系统时间(yyyy-MM-dd--HH)的分桶策略。在分桶中，又根据滚动策略，将输出拆分为 part 文件。

1、Flink 提供了两个分桶策略，分桶策略实现了 

org.apache.flink.streaming.api.functions.sink.filesystem.BucketAssigner 接口：

• BasePathBucketAssigner，不分桶，所有文件写到根目录；
• DateTimeBucketAssigner，基于系统时间(yyyy-MM-dd--HH)分桶。

除此之外，还可以实现BucketAssigner接口，自定义分桶策略。

2、Flink 提供了两个滚动策略，滚动策略实现了 

org.apache.flink.streaming.api.functions.sink.filesystem.RollingPolicy 接口：

• DefaultRollingPolicy 当超过最大桶大小（默认为 128 MB），或超过了滚动周期（默认为 60 秒），或未写入数据处于不活跃状态超时（默认为 60 秒）的时候，滚动文件；

• OnCheckpointRollingPolicy 当 checkpoint 的时候，滚动文件。

具体说明见Flink官网

三、编码。

1、pom添加依赖。

<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-connector-filesystem_${scala.binary.version}</artifactId>
    <version>${flink.version}</version>
</dependency>
<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-connector-kafka_${scala.binary.version}</artifactId>
    <version>${flink.version}</version>
</dependency>

2、添加Source。

// 源数据
val kafkaProps = new Properties()
kafkaProps.setProperty(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, Constant.DATA_KAFKA_BROKER)
kafkaProps.setProperty(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "latest")
kafkaProps.setProperty(ConsumerConfig.GROUP_ID_CONFIG, "user-login-info")
val consumer010 = new FlinkKafkaConsumer010[String](Constant.DATA_KAFKA_TOPIC, new SimpleStringSchema(), kafkaProps)
val transaction = env.addSource(consumer010)

DataStream<String> sourceStream = transaction.map(xxx) …… ;

3、添加Sink。

DefaultRollingPolicy rollingPolicy = DefaultRollingPolicy
        .create()
        .withMaxPartSize(1024*1024*120) // 设置每个文件的最大大小 ,默认是128M。这里设置为120M
        .withRolloverInterval(Long.MAX_VALUE) // 滚动写入新文件的时间，默认60s。这里设置为无限大
        .withInactivityInterval(60*1000) // 60s空闲，就滚动写入新的文件
        .build();

final StreamingFileSink<String> sink = StreamingFileSink
        .forRowFormat(new Path("xxx"), new SimpleStringEncoder<String>("UTF-8"))
        .withBucketAssigner(new MemberBucketAssigner())
        .withRollingPolicy(rollingPolicy)
        .withBucketCheckInterval(1000L) // 桶检查间隔，这里设置为1s
        .build()
;

sourceStream.addSink(sink);

说明：

• forRowFormat 表示输出的文件是按行存储的，对应的还有 forBulkFormat，可以将输出结果用 Parquet 等格式进行压缩存储。 

4、自定义BucketAssigner。

public class MemberBucketAssigner implements BucketAssigner<String, String> {
    private static final long serialVersionUID = 10000L;

    @Override
    public String getBucketId(String info, Context context) {
        // 指定桶名 yyyy-mm-dd
        String[] array = info.split("\t");
        System.out.println(DateUtil.format(new Date(Long.valueOf(array[5])), "yyyy-MM-dd"));
        return DateUtil.format(new Date(Long.valueOf(array[5])), "yyyy-MM-dd");
    }

    @Override
    public SimpleVersionedSerializer<String> getSerializer() {
        return SimpleVersionedStringSerializer.INSTANCE;
    }
}

四、总结。

截止目前，Flink 的 Streaming File Sink 仍存在不少问题，如：

• 它只支持 Hadoop 2.7 以上的版本，因为需要用到高版本文件系统提供的 truncate 方法来实现故障恢复。

• 不支持写入到 Hive。

• 写入HDFS时，会产生大量的小文件。

• 当程序突然停止时，文件仍处于inprogress状态。

• 默认桶下的文件名是 part-{parallel-task}-{count}。当程序重启时，从上次编号值加1继续开始。前提是程序是正常停止

• 除了使用StreamingFileSink外，还可以使用BucketingSink，见 这里。

• StreamingFileSink API 见 这里。

• 间隔检查时间， 是以系统时间0秒时刻开始算的。如10:00:10运行程序，inactivityInterval=300s，bucketCheckInterval=60s，最后一次写入时间是10:05:30。则在10:11:00时，将inprocess文件转为正式文件。

如果有写的不对的地方，欢迎大家指正。有什么疑问，欢迎加QQ群：176098255

【一起学习】