Flink catalog 的作用
Catalog提供元数据,如数据库、表、分区、视图,以及访问存储在数据库或其他外部系统中的数据所需的函数和信息。
数据处理中最关键的一个方面是管理元数据。它可能是暂时性的元数据,如临时表,或针对表环境注册的
UDFs。或者是永久性的元数据,比如Hive元存储中的元数据。Catalog 提供了一个统一的API来管理元数据,并使其可以从表API和SQL查询中访问。
Catalog 使用户能够引用他们数据系统中的现有元数据,并自动将它们映射到Flink的相应元数据。例如,Flink可以将JDBC表自动映射到Flink表,用户不必在Flink中手动重写DDL。Catalog大大简化了用户现有系统开始使用Flink所需的步骤,并大大增强了用户体验。