玉成226
这个作者很懒,什么都没留下…
展开
-
trino-435: trino接入TIDB数据源
trino-435: 适配TIDB数据源。原创 2024-01-24 09:27:58 · 182 阅读 · 0 评论 -
trino-435:prune worker catalogs
上一章节我们dynamic catalog restful API开发,其中catalog删除API仅仅在coordinator节点操作就可以了,那么woker几点的catalog是怎么与worker几点保持一致的呢?这一章节就重点介绍prune worker catalogs是如何做到的。原创 2024-01-13 22:59:16 · 145 阅读 · 0 评论 -
trino-435:dynamic catalog restful API开发
由于coordinator和worker节点对于dynamic catalog restful API有不同的实现方式,因此设计了如下实现方式。首先声明了一个DynamicCatalogServer接口,CoordinatorDynamicCatalogServer、WorkerDynamicCatalogServer实现了该接口,这两个实现类分别对应了coordinator节点和worker节点。主要实现查看已有catalog、注册catalog实现动态扩展、catalog的删除操作。原创 2024-01-07 23:07:26 · 532 阅读 · 0 评论 -
trino-435:dynamic catalog数据库存储代码实现
这两个类主要提供了对catalog的增删改查的方法。trino-435源码中WorkerDynamicCatalogManager类并没有实现CatalogManager接口,需要对该类进行修改实现CatalogManager接口并实现接口中的方法,完成worker节点对catalog增删改查功能。原创 2024-01-06 18:06:21 · 797 阅读 · 0 评论 -
trino-435: 理论基础
Trino是⼀种⽀持使⽤ SQL 访问任意数据源的 开源的分布式SQL 查询引擎,其能够提供更加灵活与⾼效的查询服务。为不同的异构数据源提供统⼀的sql访问,并⽀持联邦查询和并⾏查询。应⽤场景Trino是定位在数据仓库和数据分析业务的分布式SQL引擎,适合以下应⽤场景:• 统⼀SQL访问各类数据源• 执⾏sql转换与ETL• Ad-Hoc查询• 海量结构化数据或半结构化数据分析• 海量多维数据聚合或报表分析。原创 2023-12-31 17:24:41 · 930 阅读 · 0 评论 -
trino-435: 集群部署
依次启动trino服务node1(coordinator节点)、node2(worker节点)、node3(worker几点)。与coordinator的区别在于coordinator=false,取消node-scheduler.include-coordinator配置,其他配置保持一致。与coordinator的区别在于coordinator=false,取消node-scheduler.include-coordinator配置,其他配置保持一致。与coordinator配置属性保持一致。原创 2023-12-30 21:46:28 · 1334 阅读 · 0 评论 -
trino-435:dynamic catalog
trino对于数据源的注册方式为静态注册,在服务启动前需要配置好相关数据源的信息,当添加新的数据源时需要停止服务进行数据源的静态注册然后在重启服务;对于核心问题1,对io.trino.server.Server类的分析,新增catalog需要改造该类中的私有方法io.trino.server.Server#updateConnectorIds,实现将新增的catalog相关信息添加到Announcer类中。为了实现catalogs的持久化,我们需要实现catalog数据库存储方便我们检索和项目上的使用。原创 2023-12-28 22:25:50 · 1215 阅读 · 0 评论 -
trino-435: windows下源码编译
使用client/trino-cli下的jar,启动方式:java -jar trino-cli-435-executable.jar --server http://localhost:8080。(2)修改方法: io.trino.server.TrinoSystemRequirements.verifyFileDescriptor,增加windows环境判断。(1)取消插件:really-executable-jar-maven-plugin。(4)取消maven-enforcer-plugin配置。原创 2023-12-23 00:17:23 · 958 阅读 · 0 评论