FlinkSQL kafka流式写入hive

Flink流处理到Hive：实时数据迁移与转换

原创

已于 2023-07-12 16:50:20 修改 · 1.3k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#flink #FlinkSQL

于 2021-08-18 15:55:22 首次发布

本文介绍了如何使用Apache Flink将实时数据从Kafka源流迁移到Hive表中，涉及环境设置、时间戳处理和分区策略，展示了从Kafka消费到Hive存储的完整过程。

public class Kafka2Hive {
   
   
    public static void main(String[] args) {
   
   

        StreamExecutionEnvironment environment = StreamExecutionEnvironment.getExecutionEnvironment();
        EnvironmentSettings settings = EnvironmentSettings.newInstance().useBlinkPlanner().build();
        environment.enableCheckpointing(10000L);
        environment