trino-435: 理论基础

已于 2024-01-19 09:47:12 修改
阅读量1k 收藏 15
点赞数 16
分类专栏： 【trino】 文章标签： 大数据
于 2023-12-31 17:24:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yuming226/article/details/135315347
版权
Trino是一个开源的分布式SQL查询引擎，适用于数据仓库和数据分析，支持统一SQL访问异构数据源。其架构包括一个coordinator节点协调查询、管理资源，以及多个worker节点执行任务和存储数据。数据模型采用Catalog、Schema和Table结构，通过Connector接入不同数据源。查询执行模型涉及SQL解析、元数据获取、基于成本的优化和分布式任务调度。
摘要由CSDN通过智能技术生成

文章目录

一、trino介绍

Trino是⼀种⽀持使⽤ SQL 访问任意数据源的 开源的分布式SQL 查询引擎，其能够提供更加灵活与⾼效的查询服务。为不同的异构数据源提供统⼀的sql访问，并⽀持联邦查询和并⾏查询。
在这里插入图片描述
应⽤场景
Trino是定位在数据仓库和数据分析业务的分布式SQL引擎，适合以下应⽤场景：
• 统⼀SQL访问各类数据源
• 执⾏sql转换与ETL
• Ad-Hoc查询
• 海量结构化数据或半结构化数据分析
• 海量多维数据聚合或报表分析

二、trino架构

trino集群由⼀个coordinator和多个worker节点组成，client可以使⽤Trino CLI或者JDBC驱动程序连接到Coordinator，coordiantor通过协调worker与数据源进⾏⼯作。
在这里插入图片描述

<
了解本专栏 订阅专栏 解锁全文 超级会员免费看
玉成226
关注
专栏目录
订阅专栏
MQ - 32 基础功能：消息查询的设计
小工匠
09-26 6710
从功能上来看，消息队列的核心功能是生产和消费，查询并不是它的主要工作，但在一些场景中用户还是需要对消息进行查询。最常见的场景是：用户觉得某条消息丢了，需要查询这条消息是否保存在 Broker 中，此时你会怎么做呢？除此之外，还有哪些场景会用到消息查询的功能呢？查询是消息队列的辅助功能，使用的场景和频率不高。从功能上看，一般会支持按消息位点查询、按时间戳查询、按消息 ID 查询、按消息 Key 或消息内容模糊查询四种场景。查询的核心是索引的构建。
trino-435：dynamic catalog restful API开发
玉汝于成
01-07 697
由于coordinator和worker节点对于dynamic catalog restful API有不同的实现方式，因此设计了如下实现方式。首先声明了一个DynamicCatalogServer接口，CoordinatorDynamicCatalogServer、WorkerDynamicCatalogServer实现了该接口，这两个实现类分别对应了coordinator节点和worker节点。主要实现查看已有catalog、注册catalog实现动态扩展、catalog的删除操作。
docker-trino-cluster:docker容器上的多节点presto集群
05-09
docker-trino-集群 docker-trino-cluster是一个用于在容器上启动多节点集群的简单工具。 该图像与的master分支同步。 因此，您可以轻松尝试最新的trino以达到开发目的。 特征 具有docker-compose的docker容器上的多节点集群 预构建Trino Docker映像的分发 用自定义变量覆盖目录属性 Terraform模块启动基于ECS的集群 图片 角色 图像 拉 标签 协调员 勒瓦瓦特/三位一体协调员 标签 工人 Lewuathe / trino-worker 标签 我们还提供基于ARM的映像。 用于ARM的-arm64v8在标记中具有后缀-arm64v8 。 例如，336的图像具有两种支持多体系结构的图像。 目前支持以下架构。 linux/amd64 linux/arm64/v8 用法 图像上传到DockerHub中。 这些图
1、Trino整体架构
江7城子的专栏
01-02 1736
1、Trino
大数据-查询引擎(trino)-云原生化设计思路
最新发布
weixin_39403185的博客
08-28 2065
大数据场景里面，针对Trino/Presto的云原生化方案的设计思路。利用容器化技术，解决解决了查询引擎扩展性不足的问题。
【Trino权威指南（第二版）】Trino的架构、trino架构组件、 trino连接器架构的细节、trino的查询执行模型
hiliang521的博客
12-15 3984
【Trino权威指南（第二版）】Trino的架构、trino架构组件、 trino连接器架构的细节、trino的查询执行模型
Trino基础介绍
zby384的博客
07-20 841
前身是Presto（Facebook），在2020，由于项目治理和技术方向的差异，部分Presto核心开发人员和社区成员从Presto项目中分离出来，创建了一个名为Trino（原名PrestoSQL，由于版权问题改名）的新项目。Trino保留了Presto的核心功能和特点，并继续发展和改进。总结起来，Presto和Trino是同一个项目的不同版本和分支。Trino是在Presto项目的基础上演化而来的，保留了Presto的核心特性和目标，同时由一个独立的开发和维护团队进行管理。
[技术选型] Trino介绍
959
02-18 1572
OLAP的Trino介绍以及一些案例架构分析
2021 Trino权威指南：从入门到大规模使用
该书不仅深入浅出地介绍了Trino的基础知识，还涵盖了从实际使用案例到如何在大规模环境下运行Trino的方方面面。它强调了Trino在Pinterest等公司中的关键作用，例如Pinterest的技术领导Ashish Kumar Singh提到，Trino...
Trino查询优化实战：提升数据分析效率
在《Trino优化宝典》中，首先讲解了Trino的基础架构，包括核心组件如Trino Coordinator和Trino Worker的角色，强调了Trino优化对于提升用户体验、加速数据分析和降低成本的重要性。接着，书中详细介绍了多个最佳实践...
如何打造一款极速数据湖分析引擎
阿里云云栖号
03-09 1152
简介：本文向读者详细揭秘了数据湖分析引擎的关键技术，并通过 StarRocks 来帮助用户进一步理解系统的架构。 作者： 阿里云 EMR 开源大数据 OLAP 团队 StarRocks 社区数据湖分析团队 前言 随着数字产业化和产业数字化成为经济驱动的重要动力，企业的数据分析场景越来越丰富，对数据分析架构的要求也越来越高。新的数据分析场景催生了新的需求，主要包括三个方面： 用户希望用更加低廉的成本，更加实时的方式导入并存储任何数量的关系数据数据（例如，来自业务线应用程序的运营数据库和数据）和非关
阿里云EMR 2.0：定义下一代云原生智能数据湖
阿里云技术
03-10 892
本次分享主要介绍了阿里云云原生数据湖分析解决方案的三个核心要素：全托管，湖存储；一站式，湖管理；多模态，湖计算。
大数据工具之Trino
热门推荐
长沙老码农
07-22 1万+
从字面意思可以看到它支持的数据源应该是没有限制的，例如Hadoop、AWSS3、Alluxio、MySQL、Cassandra、Kafka、ES、Kudu、MongoDB、MySQL等等，一句话，就是在市面能看到的存储，它基本上都支持。Trino没有自己的存储，实现了存储与计算分离，而存储与计算分离的核心就是基于连接器的架构。连接器为Trino提供了连接任意数据源的接口，也可以自定义编程实现连接器。......
trino-435: windows下源码编译
玉汝于成
12-23 1262
使用client/trino-cli下的jar，启动方式：java -jar trino-cli-435-executable.jar --server http://localhost:8080。（2）修改方法： io.trino.server.TrinoSystemRequirements.verifyFileDescriptor，增加windows环境判断。（1）取消插件：really-executable-jar-maven-plugin。（4）取消maven-enforcer-plugin配置。
认识Trino
zhengzaifeidelushang的博客
12-17 411
Trino 是一个分布式查询引擎，可以跨多个服务器并行处理数据。Trino 服务器有两种类型：协调器和工作器。以下部分描述了这些服务器和 Trino 架构的其他组件。Trino 集群由一个协调器和许多工作器组成。用户使用 SQL 查询工具连接到协调器。工作负载由协调器编排并并行分布在集群中的所有工作线程中。每个节点在一个 JVM 实例中运行 Trino，并使用线程进一步并行处理。Trino 执行 SQL 语句并将这些语句转换为查询，这些查询在coordinator和worker的分布式集群上执行。
数据平台发展史-从数据仓库数据湖到数据湖仓
明哥的IT随笔
09-20 2645
回顾数据平台发展历史，梳理数据平台变迁脉络，更全面准确地理解数据仓库数据湖和数据湖仓！
《SQL进阶教程》学习
weixin_53794695的博客
10-31 1171
2021/10/31 今天开始学习SQL进阶教程。听了两天的培训讲座，受益还挺多，如果我是想要毕业直接去工作的话，实习的经历非常重要，可以多多学习待人处事的方法，当然，技术的学习也非常重要。所以加油吧！ CASE表达式 CASE表达式概述 简单CASE表达式 CASE sex when '1' then '男' when '2' then '女‘ ELSE '其他' END 搜索CASE表达式 CASE when sex='1' then '男' w..
【Trino实战】Trino调研说明
coding and writing
06-24 2840
Trino是一个分布式SQL查询引擎，旨在查询分布在一个或多个异质数据源的大型数据集。
Apache DolphinScheduler 助力 Trino 快速实现湖仓一体数据建设
Apache DolphinScheduler开源社区
02-21 1351
点亮⭐️Star · 照亮开源之路https://github.com/apache/dolphinscheduler作者 | 钟嘉杰Apache DolphinSchedulerPMCMember //在面对联合查询和湖仓一体场景时，Trino 已经是不少开发者的不二之选。Trino 是一个查询引擎，在数仓、即席查询方面非常强大。然而，在整个数仓处理场景中，相信很多数仓用户关注...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

玉成226

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值