【Flink】Flink 源码阅读笔记（16）- Flink SQL 的元数据管理

已于 2022-02-05 12:47:41 修改
阅读量601 收藏
点赞数 1
分类专栏： 大数据-flink 文章标签： flink sql 大数据
于 2022-02-02 18:53:13 首次发布
原文链接：https://blog.jrwang.me/2019/2019-09-12-flink-sourcecode-sql-catalog/
版权
大数据-flink 专栏收录该内容
839 篇文章 848 订阅 ¥99.90 ¥299.90
订阅专栏
本文为Flink源码阅读笔记的第16部分，主要探讨Flink SQL如何进行元数据管理，涵盖了元数据的重要性和在Flink SQL中的实现细节。
摘要由CSDN通过智能技术生成
九师兄
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
95-910-150-源码-FlinkSQL-Flink SQL 的元数据管理
九师兄
10-11 387
1.美图 2.概述 为了使用 SQL，一个首先需要解决的是元数据管理的问题。元数据的管理包括表的元数据和 UDF 的元数据，这使得完全使用 SQL 语句来构建实时任务成为可能。 3.Catalog 和 CatalogManager ​ 在 1.9 版本发布之前，Flink SQL 完全借助于 Calcite 的 Schema 接口来管理注册的表，并且提供了 ExternalCatalog 接口，通过 TableDescriptor 定义外部系统数据的来源，从而访问到外部系统的数据。但是 ExternalC
Flink 实践教程：入门（12）：元数据的使用
cloudbigdata的博客
06-08 441
流计算 Oceanus 元数据及变量引用
flink-sql-connector-mysql-cdc-2.3.0.jar
07-05
flink同步mysql数据库所用包
flink-sql-connector-kafka-2.12-1.13.1.jar
最新发布
03-15
flink-sql-connector-kafka_2.12-1.13.1.jar 是 Apache Flink 的一个 Kafka SQL Connector 的 JAR 包，用于在 Flink SQL 环境中与 Apache Kafka 集成。这里面的数字 2.12 和 1.13.1 分别表示了这个 JAR 包所依赖的 ...
flink-sql-connector-oracle-cdc-2.5-SNAPSHOT.jar
08-15
flink-sql-connector-oracle-cdc 2.5-SNAPSHOT
使用flink-connector-sqlserver-cdc 2.3.0把数据从SQL Server实时同步到MySQL中
06-25
总之，通过Flink-connector-sqlserver-cdc 2.3.0，我们可以轻松地构建一个实时数据同步系统，将SQL Server数据库的变化实时同步到MySQL。理解并掌握上述步骤和概念，对于实现高效、稳定的数据流处理至关重要。
flink-sql-connector-mysql-cdc-1.2.0.jar
03-05
flink cdc mysql jar包，2021年最新版
Flink自定义catalog管理元数据信息
qq_41463207的博客
04-14 5038
test
flink通过连接hive的元数据管理自己的元数据表
weixin_43943806的博客
03-11 5714
首先感谢https://blog.csdn.net/zhangdongan1991/article/details/105582712的分享。 现在的我需要创建或管理很多元数据表，每次都写在代码里面或者配置里面不是很方便。所有就想着有没有一种可以管理flink元数据的办法，最终在官方文档找到了头绪：https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/hive/hive_catalog.html 结合上面博主的说明最终成
Flink - 源码阅读笔记(RPC 详解)
qq_34735235的博客
01-11 1057
大数据技术栈中的技术组件非常丰富，大致总结一下各大常见组件的 RPC 实现技术： 技术组件 RPC 实现 Hadoop NIO + Protobuf HBase HBase-2.x 以前：NIO + ProtoBuf HBase-2.x 以后：Netty ZooKeeper BIO + NIO + Netty Spark Spark-1.x 基于 Akka Spark-2.x 基于 Netty Flink
Flink SQL之动态表
蔡政洁的博客
04-08 994
目录（1）动态表（2）在流上定义表（3）连续查询（4）表到流的转换 （1）动态表 动态表 是 Flink 的支持流数据的 Table API 和 SQL 的核心概念。与表示批处理数据的静态表不同，动态表是随时间变化的。可以像查询静态批处理表一样查询它们。查询动态表将生成一个 连续查询 。一个连续查询永远不会终止，结果会生成一个动态表。 查询不断更新其(动态)结果表，以反映其(动态)输入表上的更改。本质上，动态表上的连续查询非常类似于定义物化视图的查询。 需要注意的是，连续查询的结果在语义上总是等价于以批处理
【chunjun-bugfix】【flink sql元数据解析原理】多任务同时输出到同一数据源（HDFS、HIVE）时出现数据丢失的问题处理 与flink sql元数据解析原理
hiliang521的博客
11-03 405
【chunjun-bugfix】【flink sql元数据解析原理】多任务同时输出到同一数据源（HDFS、HIVE）时出现数据丢失的问题处理 与flink sql元数据解析原理
【Flink】FlinkSQL元数据验证
九师兄
02-02 1119
1.概述 转载：FlinkSQL元数据验证 Flink1.9以后引入CatalogManager来管理Catalog和CatalogBaseTable，在执行DDL语句时将表信息封装为CatalogBaseTable存储在CatalogManager中。同时扩展了calcite的Schema接口使得Calcite在Validate阶段能够读取CatalogManager中的表信息。 2.CatalogTable写入 通过执行DDL语句，查看BlinkPlanner如何解析DDL语句，并存储到Catalog.
flink实时数仓04：一条元数据表的建立
java_bing的专栏
05-13 253
一条元数据的建立，其实对应一个表的产生（一个存储的映射），而且在建立这个表的时候要你指定表的分层，其实也表示了在某层中加了个表 某个存储介质A,想要把他映射成一个表，在下图点击新建按钮就可以了，但是在新建前，提示你先选择一个库，为啥这样呢？ 个人认为：因为我们要把A映射成表，而一般表都是属于库的（感觉这个理由不合适） 第二：为了用库进行标识 啊，可能部门1用介质A，部门2也是用介质A,他们都需要映射，把映射成的表放在不同的库中，所以加个库的分类， 第三：因为以后映射的表就是我们的数仓中的一个存储了，.
Flink自定义数据源
AnameJL的博客
06-14 281
自定义数据源
深入解析Flink源码：构建数据流处理流程
通过阅读源码，开发者可以了解到如何优化数据处理效率，如何实现更复杂的业务逻辑，以及如何充分利用Flink提供的高级特性。同时，熟悉JDK8的Stream API也是理解Flink数据处理流程的基础。 在资源调度和性能调优方面...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值