大数据-Presto
大数据-Presto
OkidoGreen
这个作者很懒,什么都没留下…
展开
-
Presto简介
是Facebook开源的,完全基于内存的并⾏计算,分布式SQL交互式查询引擎是一种Massively parallel processing (MPP)架构,多个节点管道式执⾏⽀持任意数据源(通过扩展式Connector组件),数据规模GB~PB级使用的技术,如向量计算,动态编译执⾏计划,优化的ORC和Parquet Reader等presto不太支持存储过程,支持部分标准sql...转载 2020-04-16 11:27:44 · 2485 阅读 · 0 评论 -
Presto基础知识
背景MapReduce不能满足大数据快速实时adhoc查询计算的性能要求。Facebook的数据仓库存储在少量大型Hadoop/HDFS集群。Hive是Facebook在几年前专为Hadoop打造的一款数据仓库工具。在以前,Facebook的科学家和分析师一直依靠Hive来做数据分析。但Hive使用MapReduce作为底层计算框架,是专为批处理设计的。但随着数据越来越多,使用Hive...转载 2020-04-16 10:57:40 · 870 阅读 · 0 评论