Presto
stiga-huang
Cloudera Software Engineer.
Impala PMC & Committer.
展开
-
Presto基本概念
Presto基本概念Presto是Facebook开源的MPP SQL引擎,旨在填补Hive在速度和灵活性(对接多种数据源)上的不足。相似的SQL on Hadoop竞品还有Impala和Spark SQL等。这里我们介绍下Presto的基本概念,为后续的笔记做基础。Operator Model & Iterator ModelMPP(Massive Parellel Pr...原创 2018-05-20 10:37:18 · 3004 阅读 · 0 评论 -
Presto源码阅读——如何获取Hive中的Metadata(HMS+HDFS)
Presto源码阅读——如何获取Hive中的Metadata(HMS+HDFS)本文的Metadata定义SQL on Hadoop系统在执行一个query时所需要的Metadata主要有两部分Hive中的TableSchema信息和Partition信息,这部分从HMS(Hive MetaStore)中拿到HDFS中的文件信息(包括Block Location信息),这部分从...原创 2018-07-07 20:27:59 · 7762 阅读 · 2 评论