Trino与Spark SQL 学习对比

文章目录

• 1.Trino与Spark SQL的区别分析
• 2.Trino与Spark SQL解析过程对比
• 3.Trino基本概念
• 4.Trino架构
• 5.Trino SQL执行流程
• 6.Trino Task执行流程
• 7.Trino UI页面数据指示
• 相关参考：

1.Trino与Spark SQL的区别分析

2.Trino与Spark SQL解析过程对比

• Trino
  
• Spark SQL
  

3.Trino基本概念

4.Trino架构

5.Trino SQL执行流程

6.Trino Task执行流程

• 任务调度：
  1.分配多少个任务？
  2.每个任务分配到哪些机器节点上？拓扑调度算法 (Topology Aware Scheduling strategy)
  答：Presto把集群资源划分成两级结构(Machine，集群)；【两层结构】

• 分配算法如下：
  2.1 当分配一个Split时候，会给定Split的一个地址，这个地址代表期望的分配地址；（尽量距离数据源最近的地址）
  2.2 从Machine层开始查找，首先查看Machine上已经分配的Split个数是否已满，若未满则分配该机器；
  2.3 若Machine资源池已满，则到集群级别找一台机器，这台机器的资源池使用量小于50%，则分配这台机器。否则分配失败；
  
  
  

7.Trino UI页面数据指示

相关参考：

1. CentOS7环境下部署PrestoSQL-345版本三节点集群详细过程
2. PrestoSQL-345集群连接MySQL5.7
3. PrestoSQL-345集群连接Hive3.1.0
4. Trino(Presto345) on Hive知识总结及TPC-DS测试
5. PrestoSQL-345集群连接Kafka2.2.1
6. PrestoSQL-345集群连接Redis5.0.5
7. PrestoSQL-345集群连接Phoenix5.0.0-HBase2.0.0-未成功
8. PrestoSQL-345集群连接Elasticsearch7.3.2
9. PrestoSQL-345可视化Client yanagishima22.0部署
10. PrestoSQL-345集群连接TPC-DS