trino-435：dynamic catalog restful API开发

已于 2024-01-08 23:16:25 修改
阅读量796 收藏 10
点赞数 8
分类专栏： 【trino】 文章标签： 大数据
于 2024-01-07 23:07:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yuming226/article/details/135446409
版权
本文详细介绍了Trino中动态Catalog的RESTful API开发，包括功能设计、catalog名称查询、注册及删除接口。DynamicCatalogServer接口为协调器和工作节点提供了不同实现，CatalogResource类则用于实现API。协调器节点负责同步catalog到工作节点，而工作节点仅支持查看和注册catalog。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前置内容

restful API开发所在的位置core->trino-main->metadata模块下。主要实现查看已有catalog、注册catalog实现动态扩展、catalog的删除操作。coordinator和worker节点对该功能接口的实现是有区别的：

  • coordinator节点包含查看已有catalog、注册catalog实现动态扩展、catalog的删除操作这三个功能。
  • coordinator注册catalog实现动态扩展会先通知所有worker节点点同步catalog，等worker节点同步成功后，然后再实现自身的注册，使得coordinator和worker节点的catalog保持一致
  • coordinator catalog的删除API仅仅删除coordinator节点缓存的catalog和数据库存储的catalog，不和worker节点产生交互。coordinator节点有异步任务来保证coordinator和worker节点catalog的一致性。
  • worker几点仅支持查看已有catalog、注册catalog实现动态扩展，并且注册catalog不和数据库产生交互。仅仅将catalog注册到worker节点的本地内存中

一、功能设计

1、DynamicCatalogServer

由于coordinator和worker节点对于dynamic catalog

了解本专栏 订阅专栏 解锁全文 超级会员免费看
trino-435：dynamic catalog
玉汝于成
12-28 1590
trino对于数据源的注册方式为静态注册，在服务启动前需要配置好相关数据源的信息，当添加新的数据源时需要停止服务进行数据源的静态注册然后在重启服务；对于核心问题1，对io.trino.server.Server类的分析，新增catalog需要改造该类中的私有方法io.trino.server.Server#updateConnectorIds，实现将新增的catalog相关信息添加到Announcer类中。为了实现catalogs的持久化，我们需要实现catalog数据库存储方便我们检索和项目上的使用。
trino-435：dynamic catalog数据库存储代码实现
玉汝于成
01-06 1033
这两个类主要提供了对catalog的增删改查的方法。trino-435源码中WorkerDynamicCatalogManager类并没有实现CatalogManager接口，需要对该类进行修改实现CatalogManager接口并实现接口中的方法，完成worker节点对catalog增删改查功能。
【大数据】Presto（Trino）REST API 与执行计划介绍
匠人精神，持之以恒！
05-19 1892
Presto（现在叫Trino）是一个分布式SQL查询引擎，它允许用户在多个数据源上执行查询。Presto本身是一个独立的Java程序，可以通过REST API与其他应用程序进行通信。Presto的REST API是一组HTTP接口，可以用于与Presto服务器进行通信，并提交查询请求、获取查询结果等。执行SQL查询：使用REST API，可以提交SQL查询请求，并从Presto服务器获取查询结果。获取查询进度：使用REST API，可以获取当前查询的进度和状态，例如查询已经执行的百分比、预计完成时间等。
Trino动态catalog实现
他说只是儿戏的博客
07-26 1396
本文基于trino423版本进行修改，实现从数据库中加载catalog配置，并设置刷新时间间隔动态更新trino中catalog配置。
Trino动态配置Catalog
z275598733的博客
07-29 2132
修改源码中的core\src\main\java\io\trino\metadata\StaticCatalogStore.java 此版本为AES数据传加密的版本，如果不许要可以自行调整代码 /* * Licensed under the Apache License, Version 2.0 (the "License"); * you may not use this file except in compliance with the License. * You may obtain.
Api-trino.zip
09-18
Api-trino.zip,崔诺：用命令行掌握你的翻译！trino cli允许快速轻松地翻译在命令行中输入的单词和短语。,一个api可以被认为是多个软件设备之间通信的指导手册。例如，api可用于web应用程序之间的数据库通信。通过提取实现并将数据放弃到对象中，api简化了编程。
trino-435：prune worker catalogs
最新发布
玉汝于成
01-13 230
上一章节我们dynamic catalog restful API开发，其中catalog删除API仅仅在coordinator节点操作就可以了，那么woker几点的catalog是怎么与worker几点保持一致的呢？这一章节就重点介绍prune worker catalogs是如何做到的。
trino-python-client:Trino 的 Python 客户端
08-05
介绍 这个包提供了一个客户端接口来查询一个分布式 SQL 引擎。 它支持 Python>=3.6 和 pypy。 安装 $ pip install trino 快速开始 使用DBAPI接口查询Trino： import trino conn = trino . dbapi . connect ( host = 'localhost' , port = 8080 , user = 'the-user' , catalog = 'the-catalog' , schema = 'the-schema' , ) cur = conn . cursor () cur . execute ( 'SELECT * FROM system.runtime.nodes' ) rows = cur . fetchall () 这将查询system.runtim
c#trino调用
zsssszszs的博客
12-06 302
c#trino调用
【trino权威指南】使用trino详解：trino client安装、查询sql、DBeaver连接trino、java通过JDBC连接trino
hiliang521的博客
12-06 9023
【trino权威指南】使用trino详解：trino client安装、查询sql、DBeaver连接trino、java通过JDBC连接trino
trino：Trino的官方存储库，Trino是大数据的分布式SQL查询引擎，以前称为PrestoSQL（https：trino.io）
01-30
Trino是用于大数据分析的快速分布式SQL查询引擎。 有关部署说明和最终用户文档，请参见《》。 发展历程 有关代码样式，开发过程和准则的信息，请参见“”。 请参阅的贡献。 建造要求 Mac OS X或Linux Java 11.0.7 +，64位 码头工人 建筑物特里诺 Trino是一个标准的Maven项目。 只需从项目根目录运行以下命令： ./mvnw clean install -DskipTests 在第一个版本中，Maven从Internet下载所有依赖项并将它们缓存在本地存储库（ ~/.m2/repository ）中，这可能需要一些时间，具体取决于您的连接速度。 后续构建速度更快。 Trino具有一组全面的测试，这些测试需要花费大量时间才能运行，因此上述命令将其禁用。 提交拉取请求时，这些测试由CI系统运行。 我们建议仅针对您更改的代码区域在本地运行测试。 在您的IDE中运行Trino 总览 首次构建Trino后，您可以将项目加载到IDE中并运行服务器。 我们建议使用 。 由于Trino是标准的Maven项目，因此您可以轻松地将其导入到IDE中。 在Intell
Trino文档 - 概览(新)
大怀特的博客
12-07 2779
概览使用案例Trino 不能做什么Trino 可以做什么1.2 Trino 概念概览Server类型Coordinatorworker数据源ConnectorCatalogSchemaTableQuery执行模型StatementQueryStageTasksplitDriverOperatorExchange Trino 是一个分布SQL查询引擎,设计用来查询大的分布式数据集,分布在一个或更多不同总类的数据源. 使用案例 这节全面介绍Trino,这样潜在的管理员和用户知道可以从Trino期待什么. Tri
3.1 Trino二次开发-动态数据源管理-需求及源码解读1
万般皆苦，唯有自渡
12-27 8174
目录 前言 一、当前需求 二、解决方案 1.当前情况 2.方案概述 3.源码解读 总结 前言 前面的文章中提到了，如何在windows环境构建trino的开发环境，本文中主要针对二次开发的场景，来对实际二次开发过程中的思路和问题进行整理及分享。 一、当前需求 需求: 业务场景中需要数据源在Trino上可以进行动态的管理，包括：添加、编辑、删除；但是Trino本身的数据源是不支持这些热操作的，它的做法是把数据源配置到properties文件中，重启后生效。每次添加一个数据源就重
【Trino权威指南（第二版）】Trino的架构、trino架构组件、 trino连接器架构的细节、trino的查询执行模型
hiliang521的博客
12-15 5208
【Trino权威指南（第二版）】Trino的架构、trino架构组件、 trino连接器架构的细节、trino的查询执行模型
trino-435: 理论基础
玉汝于成
12-31 1087
Trino是⼀种⽀持使⽤ SQL 访问任意数据源的 开源的分布式SQL 查询引擎，其能够提供更加灵活与⾼效的查询服务。为不同的异构数据源提供统⼀的sql访问，并⽀持联邦查询和并⾏查询。应⽤场景Trino是定位在数据仓库和数据分析业务的分布式SQL引擎，适合以下应⽤场景：• 统⼀SQL访问各类数据源• 执⾏sql转换与ETL• Ad-Hoc查询• 海量结构化数据或半结构化数据分析• 海量多维数据聚合或报表分析。
【Trino实战】Trino调研说明
顧棟的博客
06-24 3484
Trino是一个分布式SQL查询引擎，旨在查询分布在一个或多个异质数据源的大型数据集。
三、Trino406系列 之 客户端
京河小蚁的博客
03-25 1809
客户端是向trino server提交sql查询语句和返回结果的，或以其他方式与Trino和连接的数据源交互。一些客户端，例如命令行界面，可以直接提供用户界面。像JDBC驱动程序这样的客户端为其他工具提供了连接到Trino的机制。此外，社区还为Python等平台提供了许多其他客户端，这些客户端可以反过来用于连接使用这些平台的应用程序。Trino CLI提供了一个基于终端的交互式shell来运行查询。CLI是一个自动执行的JAR文件，这意味着它像普通的UNIX可执行文件一样工作。
Trino动态配置Catalog以及打包问题解决
z275598733的博客
07-22 1707
修改 core\src\main\java\io\trino\metadata\StaticCatalogStore.java /* * Licensed under the Apache License, Version 2.0 (the "License"); * you may not use this file except in compliance with the License. * You may obtain a copy of the License at * *
trino安装及使用
q495673918的博客
10-21 3758
trino适合多数据源的即席查询，它是把数据通过connector拉取回来，然后使用自己的引擎进行关联运算，所以其速度必然受限于传输速度，不适合跨网络的大数据量的关联查询。像spark之类的查询引擎我们都是把尽量分发到数据存储的机器上，trino是把数据拿回来，这就是他们的差异所在。hive源配置如下，我们在catalog目录下创建文件hive.properties，core-site.xml,hdfs-site.xml可以从hadoop集群复制一份然后放到配置文件中。worker的基本配置如下。
Superset-dev：支持Presto/Trino的超集开发平台
描述中特别强调了这个开发版本具有“presto trino支持”，意味着该版本的Superset支持Presto和Trino这两种分布式SQL查询引擎。Presto和Trino（原名PrestoSQL）都是用于大数据分析的高性能分布式SQL查询引擎，能够...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

玉成226

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值