1.presto概述
包括presto简介,以及与hive的比较
AirPal是AirBnb开源的查询Presto的WebUI。
项目特性:
可选的用户访问控制
SQL语法高亮
查询结果导出到CSV文件,或者存到Hive表中
可查看SQL查询的历史记录
可保存查询
根据表名搜索对应的表
可查看表结构,并预览前1000行数据
项目地址 https://github.com/airbnb/airpal
https://github.com/CHINA-JD/presto
Presto是一个运行在多台服务器上的分布式系统。 完整安装包括一个coordinator和多个worker。 由客户端提交查询,从Presto命令行CLI提交到coordinator。 coordinator进行解析,分析并执行查询计划,然后分发处理队列到worker。
Presto查询引擎是一个Master-Slave的架构,由一个Coordinator节点,一个Discovery Server节点,多个Worker节点组成,Discovery Server通常内嵌于Coordinator节点中。Coordinator负责解析SQL语句,生成执行计划,分发执行任务给Worker节点执行。 Worker节点负责实际执行查询任务。Worker节点启动后向Discovery Server服务注册,Coordinator从Discovery Server获得可以正常工作的Worker节点。如果配置了Hive Connector,需要配置一个Hive MetaStore服务为Presto提供Hive元信息,Worker节点与HDFS交互读取数据。