presto
关注
分享
扫一扫
耀扬仔
这个作者很懒，什么都没留下…
展开
-
Presto实现原理
Presto架构Presto查询引擎是一个Master-Slave的架构，由一个Coordinator节点，一个Discovery Server节点，多个Worker节点组成，Discovery Server通常内嵌于Coordinator节点中。Coordinator负责解析SQL语句，生成执行计划，分发执行任务给Worker节点执行。Worker节点负责实际执行查询任务。Worker节点启动后...转载 2018-03-26 16:44:28 · 1132 阅读 · 0 评论 -
Presto查询优化
一、数据存储合理设置分区与Hive类似，Presto会根据元信息读取分区数据，合理的分区能减少Presto数据读取量，提升查询性能。使用列式存储Presto对ORC文件读取做了特定优化，因此在Hive中创建Presto使用的表时，建议采用ORC格式存储。相对于Parquet，Presto对ORC支持更好。使用压缩数据压缩可以减少节点间数据传输对IO带宽压力，对于即席查询需要快速解压，建议采用sna...转载 2018-03-26 20:34:24 · 1326 阅读 · 0 评论