presto
文章平均质量分 93
积极流年
这个作者很懒,什么都没留下…
展开
-
presto 基本概念和架构
Presto是一款Facebook开源的MPP架构的OLAP查询引擎,可针对不同数据源执行大容量数据集的一款分布式SQL执行引擎。因为工作中接触到Presto,研究它对理解SQL Parser、常见算子的实现(如SQL中table scan,join,aggregation)、资源管理与调度、查询优化(如向量化执行、动态代码生成)、大数据下各个组件为何适用不同场景等等都有帮助。我希望通过这个系列可以了解一条SQL在大数据场景下该如何高效执行。233酱准备不定时持续更新这个系列,本文主要从Presto的使用举原创 2021-03-09 19:04:44 · 2028 阅读 · 2 评论 -
presto 基础和执行过程
背景在数据湖日益发展的阶段,也暴露出很多问题,其中有一点就是数据之间的隔离如果想要计算的数据分散在Hdfs、Hive、ES、Hbase、MySql、Kafka中,应该怎么做?Facebook科学家们发现目前并没有一款合适的计算引擎,最终决定开发一款MPP交互式计算引擎2012年秋天进行研发,2013年开源出来并成功用其对300PB的数据进行运算,奠定了Presto的地位特点Presto是面向SQL的跨数据源并基于内存计算的分析引擎,且拥有丰富的插件接口使用插件可以轻松实现以下问题对原创 2020-12-07 14:13:21 · 1230 阅读 · 1 评论