Presto是Facebook开发的用于高速、实时数据分析的分布式SQL查询引擎，比Hive快10倍，支持多数据源，如Hive、Kafka等。其采用Master-Slave架构，通过Coordinator分配任务给Worker执行，实现低延迟查询。Presto的缺点包括无故障容错机制和内存限制。本文将介绍Presto的原理、查询流程和与Hive的对比。
我们实时引擎组新引入了一款分布式SQL查询引擎，名字叫Presto，目前已经调研和测试了2个月了，并且期间某平台也从impala平台迁入到了Presto平台，查询性能有了2-3倍的提升（各种原因导致），所以本文将结合作者这段时间的测试和调研研究，来揭开Presto的神秘面纱。
Presto是神马
Presto是由Facebook开发的一个分布式SQL查询引擎， 它被设计为用来专门进行高速、实时的数据分析。它的产生是为了解决Hive的MapReduce模型太慢以及不能通过BI或Dashboards直接展现HDFS数据等问题。Presto是一个纯粹的计算引擎，它不存储数据，其通过Connector获取第三方Storage服务的数据。
历史
- 2012年秋季，Facebook启动Presto项目
- 2013年冬季，Presto开源
- 2017年11月，11888 commits，203 releases，198 contributors
功能和优点
- Ad-hoc，期望查询时间秒级或几分钟
- 比Hive快10倍
- 支持多数据源，如Hive、Kafka、MySQL、MonogoDB、Redis、JMX等，也可自己实现Connector
- Client Protocol: HTTP+JSON, support various languages(Python, Ruby, PHP, Node.js Java)
- 支持JDBC/ODB
最低0.47元/天 解锁文章
1161
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
