presto
立喆
非典型IT男
展开
-
Presto查询优化
Presto是一个开源的分布式SQL查询引擎,适用于交互式分析查询,数据量支持GB到PB字节。查询语言是类ANSI SQL语句。笔者在多个项目中用到Presto做即席查询,总结了一些优化措施。一、数据存储合理设置分区 与Hive类似,Presto会根据元信息读取分区数据,合理的分区能减少Presto数据读取量,提升查询性能。使用列式存储 Presto对ORC文件读取做了特定优化,因此在Hive中创...转载 2018-03-14 16:32:57 · 1055 阅读 · 0 评论 -
presto 的web ui
1、AirPal(推荐)AirPal是AirBnb开源的查询Presto的WebUI。 项目特性:可选的用户访问控制SQL语法高亮查询结果导出到CSV文件,或者存到Hive表中可查看SQL查询的历史记录可保存查询根据表名搜索对应的表可查看表结构,并预览前1000行数据项目地址 https://github.com/airbnb/airpal2、ShibShib是Treasure Data员工TAG...原创 2018-03-14 17:02:18 · 4970 阅读 · 0 评论 -
Presto 原理
Presto查询引擎是一个Master-Slave的架构,由一个Coordinator节点,一个Discovery Server节点,多个Worker节点组成,Discovery Server通常内嵌于Coordinator节点中。Coordinator负责解析SQL语句,生成执行计划,分发执行任务给Worker节点执行。Worker节点负责实际执行查询任务。Worker节点启动后向Discove...转载 2018-05-02 16:22:17 · 1406 阅读 · 0 评论