18.flink Table/Sql API之 catlog

概要

本小节只讲解catlog的概念,不涉及代码部分,而这一部分的知识是十分重要的。

1.catlog是干嘛的

flink内部的Table是flink自己的数据对象,不是狭义上的mysql上的table, flink连接外部数据库(比如mysql/hive)建立Table的时候需要catlog提供的元数据信息做桥接。 这就是catlog的作用。 引用官网的一句话:Catalog 使用户能够引用其他数据库中的元数据,并自动将它们映射到 Flink 对应的元数据。 这些元数据是sql支持的基础。

2.catlog有哪些

要知道不同的数据库的元数据类型不一样,因此catlog也分为很多种。

  1. GenericInMemoryCatalog
    内存型catlog,所有对象仅在会话的生命周期内可用。
  2. JdbcCatalog
    JdbcCatalog提供了flink到mysql的元数据的映射,使得flink可以很方便的将myql数据库中的数据转换成flink的Table。
  3. HiveCatalog
    作为纯 Flink 元数据的持久存储,以及作为读取和写入现有 Hive 元数据的接口。
  4. 自定义catlog
    需要用户实现CatalogFactory 接口

3.总结

catlog作为flink 和外部数据存储系统的元数据映射媒介是很重要的,你需要理解利用catlog你就实现在flink代码中连接以及操作外部数据库。 catlog 可以查看数据库databases, 创建数据库,在数据库中创建表格, listtable. 等。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我先森

鼓励一个吧,哈哈

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值