本文介绍了Apache Flink 1.9.0版本开始支持与Hive的集成，包括元数据管理的增强和flink-connector-hive模块的新增。详细步骤涵盖了从安装Flink和Hive，配置依赖，到启动服务，以及通过Flink SQL Client和Table API进行Hive的使用，如列举catalog、查询表数据等。
1.美图
2.概述
Apache Flink 从 1.9.0 版本开始增加了与Hive集成的功能，用户可以通过Flink来访问Hive的元数据，以及读写Hive中的表。
2.1 元数据
原先Flink提供的 ExternalCatalog 定义非常不完整，基本不可用。提出了一套全新的 Catalog 接口来取代 ExternalCatalog 。新的 Catalog能够支持数据库、表、分区等多种元数据对象。
允许一个用户session中维护多个 Catalog 实例，从而访问多个外部系统。并且 Catalog 以可插拔的方式接入Flink，允许用户提供自定义实现。
2.2 表数据
新增了 flink-connector-hive 模块
3.Flink SQL Client中使用Hive
3.1 安装flink-1.9.0
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
