【Flink 实战系列】Flink 同步 Kafka 数据到 HDFS parquet 格式存储 snappy 压缩
最新推荐文章于 2023-12-11 16:31:10 发布
本文介绍了如何使用Flink 1.15的新接口从Kafka源读取数据,不经处理直接以Parquet格式并用Snappy压缩写入HDFS。详细讲解了KafkaSource、FileSink的配置,以及自定义ParquetAvroWriter、分桶策略和Hive表的操作。
摘要由CSDN通过智能技术生成