trino-435：dynamic catalog数据库存储代码实现

已于 2024-01-08 19:52:40 修改
阅读量943 收藏 10
点赞数 24
分类专栏： 【trino】 文章标签： 大数据
于 2024-01-06 18:06:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yuming226/article/details/135429522
版权
本文深入分析了Trino-435中dynamic catalog的数据库存储实现，涉及CoordinatorDynamicCatalogManager和WorkerDynamicCatalogManager两个核心类，详细介绍了它们在catalog的增删改查操作中的作用。同时，文章讲解了JdbcStoreCatalog类如何从数据库加载和管理catalog，并展示了其构造方法和loadProperties方法的实现，以及如何通过JdbcCatalogStoreConfig配置数据库连接。
摘要由CSDN通过智能技术生成

一、dynamic catalog数据库存储源码分析

dynamic catalog的实现主要涉及到两个类：CoordinatorDynamicCatalogManager、WorkerDynamicCatalogManager，这两个类的详细信息如下：
在这里插入图片描述

在这里插入图片描述
这两个类主要提供了对catalog的增删改查的方法。trino-435源码中WorkerDynamicCatalogManager类并没有实现CatalogManager接口，需要对该类进行修改实现CatalogManager接口并实现接口中的方法，完成worker节点对catalog增删改查功能，还有一点需要注意的是worker节点仅仅可以从数据库中读取数据，不负责将catalog存储到数据库中（该功能由coordinator节点来完成）。

WorkerDynamicCatalogManager代码试下如下，在原有的代码上重写了方法：

  • getCatalogNames：获取ca
了解本专栏 订阅专栏 解锁全文 超级会员免费看
玉成226
关注
专栏目录
订阅专栏
trino-435：dynamic catalog restful API开发
玉汝于成
01-07 702
由于coordinator和worker节点对于dynamic catalog restful API有不同的实现方式，因此设计了如下实现方式。首先声明了一个DynamicCatalogServer接口，CoordinatorDynamicCatalogServer、WorkerDynamicCatalogServer实现了该接口，这两个实现类分别对应了coordinator节点和worker节点。主要实现查看已有catalog、注册catalog实现动态扩展、catalog的删除操作。
trino-python-client:Trino 的 Python 客户端
08-05
介绍 ... catalog = 'the-catalog' , schema = 'the-schema' , ) cur = conn . cursor () cur . execute ( 'SELECT * FROM system.runtime.nodes' ) rows = cur . fetchall () 这将查询system.runtim
Trino动态catalog实现
他说只是儿戏的博客
07-26 1183
本文基于trino423版本进行修改，实现从数据库中加载catalog配置，并设置刷新时间间隔动态更新trino中catalog配置。
Trino 源码阅读 —— MultiLevelSplitQueue 调度机制
lly__lly的博客
01-14 1677
Trino MultilevelSplitQueue源码阅读
3.5 Trino二次开发-动态数据源管理-代码实现
万般皆苦，唯有自渡
01-18 8378
目录 前言 代码实现 1.Restful接口 2.数据源信息注册到ConnectorManager、CatalogManager 3.通过Announcer机制广播数据源信息 4.DiscoveryNodeManager的refreshNodesInternal维护数据源信息 5.完整代码地址 总结 前言 上文中对动态数据源的二次开发方案进行了表述，本文将从代码的层面，实现Trino动态数据源的管理。 代码实现 代码实现上，我们依旧从开发方案中提到的4个步骤入手，对核心代码进行刨析。
【Trino源码学习】Trino源码剖析之catalog加载
skyyws的博客
02-23 1747
我们在上篇文章中，跟着代码一步步分析，梳理了trino在加载plugin的过程中，主要做了哪些事情。归纳总结起来就是，创建了每个plugin对应的PluginClassLoader以及InternalConnectorFactory，这个InternalConnectorFactory封装了每个plugin的ConnectorFactory。本文我们将继续跟着代码进行分析，看看trino在加载catalog的时候又做了哪些事情。
docker-trino-cluster:docker容器上的多节点presto集群
05-09
docker-trino-集群 docker-trino-cluster是一个用于在容器上启动多节点集群的简单工具。 该图像与的master分支同步。 因此，您可以轻松尝试最新的trino以达到开发目的。 特征具有docker-compose的docker容器上的多...
trino-the-definitive-guide:Presto书的资源
05-16
Trino：权威指南 这个软件库包含了本书特里诺有用的资源：权威指南，以前普雷斯托：权威指南，由马特·富勒（书面 ），曼弗雷德·莫泽（ ）和马丁特拉韦尔索（ ）和出版。 内容 ：中协调器和工作程序的示例配置文件 ...
trino-query-formatter:Presto SQL查询格式化程序
05-07
Trino查询格式器支持Trino语法SQL查询格式化程序建造./mvnw clean install用法echo 'SELECT 1;' | java -jar target/trino-query-formatter-*-executable.jar
trino-by-example:带有Apache Hive Postgres Metastore的Presto Trino
03-17
这是创建带有配置单元的Presto / Trino群集的方法。 任务 下载客户端 证明书 配置环境/秘密 测试Trino连接 使用S3在Hive中创建表 使用Hive进行查询 使用Presto的查询 在Kubernetes中运行 下载客户端 curl -O trino ...
trinoq.com
02-12
关于Laravel Laravel是一个具有表达力，优雅语法的Web应用程序框架。 我们认为，发展必须是一种令人愉悦的创造力，才能真正实现。 Laravel通过减轻许多Web项目中使用的常见任务来减轻开发工作的痛苦，例如： 。 。 用于和存储的多个后端。 直观的表达 。 数据库不可知。 。 。 Laravel易于访问，功能强大，并提供大型，强大应用程序所需的工具。 学习Laravel Laravel拥有所有现代Web应用程序框架中最广泛，最全面的和视频教程库，因此轻而易举地开始使用该框架。 如果您不想读书，可以使用帮助。 Laracasts包含1500多个视频教程，涉及各种主题，包括Laravel，现代PHP，单元测试和JavaScript。 深入我们全面的视频库，提高您的技能。 Laravel赞助商 我们要感谢以下赞助Laravel开发的赞助商。 如果您有兴趣成为赞助
trino-435：dynamic catalog
最新发布
玉汝于成
12-28 1439
trino对于数据源的注册方式为静态注册，在服务启动前需要配置好相关数据源的信息，当添加新的数据源时需要停止服务进行数据源的静态注册然后在重启服务；对于核心问题1，对io.trino.server.Server类的分析，新增catalog需要改造该类中的私有方法io.trino.server.Server#updateConnectorIds，实现将新增的catalog相关信息添加到Announcer类中。为了实现catalogs的持久化，我们需要实现catalog数据库存储方便我们检索和项目上的使用。
Trino源码分析：sql字段解析
橙色
01-14 1221
Trino源码分析
3.4 Trino二次开发-动态数据源管理-开发方案设计
万般皆苦，唯有自渡
01-14 7756
目录 前言 1.前提 2.不足 3.方案介绍 步骤1 步骤2 步骤3 步骤4 总结 前言 前面的文章中，围绕着Catalog对Trino的源码进行了调研和解析，了解了Catalog加载过程中都做了哪些的工作。本文将围绕动态数据源管理为主题，进行二次开发方案的阐述。 开发方案设计 1.前提 首先强调几个小的前提 我们管理的动态数据源，是基于当前Trino的Plugin支持的数据源类型。 Trino对数据源的支持粒度是集群节点级别的。举个例子，假设Trino集群Test有三个..
Trino 使用及剖析
zhixingheyi_tian的博客
10-31 267
Trino
Presto/Trino的explain和system catalog的使用、各种数据类型(基础、集合、日期时间)
Bulut0907
03-22 2592
目录1. explain2. system catalog2.1 system.runtime数据库2.2 system.information_schema数据库3. 创建、更新、删除schema(未执行)4. 创建table4.1 表和列with子句的使用(未执行)4.2 复制现有的表结构(未执行)4.3 从查询结果中新建表(未执行)4.4 修改表和删除表(未执行) 1. explain 查看查询执行计划，简单例子是检查查询在语法上是否正确 trino> trino> explain (ty
LocalCatalog详解之Coordinator处理流程
skyyws的博客
09-24 744
针对Impala的catalogd服务在元数据量很大情况下产生的瓶颈，社区在3.x版本开始开发LocalCatalog功能，在4.x版本已经比较成熟。本文主要会从两个常见的场景出发，结合代码，来跟大家一起学习下，Impala在LocalCatalog模式下，coordinator节点的处理逻辑。同时
3.2 Trino二次开发-动态数据源管理-源码解读2
万般皆苦，唯有自渡
12-28 7520
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分
Presto/Trino的Coordinator和Worker、查询执行流程、查询句法优化和代价优化、Lateral join和Semi-join
Bulut0907
03-07 2647
目录1. coordinator协调器和worker工作节点2. Connectors连接器 1. coordinator协调器和worker工作节点 Presto在整个集群的worker服务器上分配处理任务，实现横向拓展，类似MPP架构 上面是一个coordinator和多个worker的集群，客户端通过coordinator连接系群，coordinator将创建一个包含多个State的逻辑模型，分发到各个worker进行执行，worker访问数据源获取数据 coordinator上会运行一个disco
构建与配置：Trino达梦数据库插件开发指南
"Trino达梦插件开发指南，包括准备条件、根目录下pom文件的修改等步骤，旨在帮助开发者实现对Trino的二次开发，接入达梦数据库支持。" Trino是一款高性能、分布式SQL查询引擎，适用于大规模数据集的分析。它设计...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

玉成226

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值