本文介绍了Flink SQL的元数据管理，包括Catalog和CatalogManager在元数据管理中的作用，如何注册表和UDF，以及验证元数据的过程。Flink提供了MemoryCatalog和HiveCatalog来管理和访问不同系统的数据，支持Hive的元数据持久化。此外，还阐述了通过DDL语句、Table API和UDF注册的方法。
1.美图
2.概述
为了使用 SQL，一个首先需要解决的是元数据管理的问题。元数据的管理包括表的元数据和 UDF 的元数据，这使得完全使用 SQL 语句来构建实时任务成为可能。
3.Catalog 和 CatalogManager
在 1.9 版本发布之前，Flink SQL 完全借助于 Calcite 的 Schema 接口来管理注册的表，并且提供了 ExternalCatalog 接口，通过 TableDescriptor 定义外部系统数据的来源，从而访问到外部系统的数据。但是 ExternalCatalog 的定义不是非常完整，并且不太方便和 Hive 等已有的元数据管理进行集成。为此，Flink SQL 重构并提供了 Catalog 接口，Catalog 接口能够支持数据库、表、函数、甚至于分区等多种抽象。通过 CatalogManager，可以同时在一个会话中挂载多个 Catalog，从而访问到多个不同的外部系统。
interface Catalog {
订阅专栏 解锁全文
600
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
