sql like 多个条件_Presto分布式大数据SQL查询引擎，让查询速度更快

• Presto是什么

Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。Presto的设计和编写完全是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。

• 为什么会出现

Hadoop提供了大数据存储与计算的一整套解决方案；但是它采用的是MapReduce计算框架，只适合离线和批量计算，无法满足快速实时的Ad-Hoc查询计算的性能要求

Hive使用MapReduce作为底层计算框架，是专为批处理设计的。但随着数据越来越多，使用Hive进行一个简单的数据查询可能要花费几分到几小时，显然不能满足交互式查询的需求。

• 它可以做什么

Presto支持在线数据查询，包括Hive, Cassandra, 关系数据库以及专有数据存储。一条Presto查询可以将多个数据源的数据进行合并，可以跨越整个组织进行分析。

Presto以分析师的需求作为目标，他们期望响应时间小于1秒到几分钟。Presto终结了数据分析的两难选择，要么使用速度快的昂贵的商业方案，要么使用消耗大量硬件的慢速的“免费”方案。

• Presto架构

Presto查询引擎是一个Master-Slave的主从架构，Coordinator是主，worker是从。

一个presto集群，由一个Coordinator节点，一个Discovery Server节点(通常内嵌于Coordinator节点中)，多个Worker节点组成。其中，Coordinator负责接收查询请求、解析SQL语句、生成执行计划、任务调度给Worker节点执行、worker管理；Worker节点是工作节点，负责实际执行查询任务Task。

Worker节点启动后向Discovery Server服务注册；Coordinator从Discovery Server获得可以正常工作的Worker节点。

presto采取三层表结构：catalog 对应某一类数据源，例如hive的数据，或mysql的数据；schema 对应mysql中的数据库；table 对应mysql中的表。

• 三大特点

高性能： Presto基于内存计算，减少数据的落盘，计算更快；轻量快速，支持近乎实时的查询； 多数据源： 通过配置不同的Connector，presto可以连接不同的数据源，所以可以将来自不同数据源的表进行连接查询； 扩展性： 可以根据实际的需要，开发特定的数据源的Connector，从而可以sql查询此数据元的数据

• 谁在使用它

Facebook使用Presto进行交互式查询，用于多个内部数据存储，包括300PB的数据仓库。每天有1000多名Facebook员工使用Presto，执行查询次数超过30000次，扫描数据总量超过1PB。领先的互联网公司包括Airbnb和Dropbox都在使用Presto。

• 生产环境使用需要注意什么

优化存储以及压缩

Presto对ORC文件读取做了特定优化，因此在Hive中创建Presto使用的表时，建议采用ORC格式存储；数据压缩可以减少节点间数据传输对IO带宽压力，对于即席查询需要快速解压，建议采用snappy压缩。

SQL优化

1. 过滤条件必须加上分区字段，对于分区表，where语句中优先使用分区字段进行过滤；
2. Order by时使用Limit， 尽量避免ORDER BY：Order by需要扫描数据到单个worker节点进行排序，导致单个worker需要大量内存；
3. 使用近似聚合函数： 对于允许有少量误差的查询场景，使用这些函数对查询性能有大幅提升。比如使用approx_distinct() 函数比Count(distinct x)有大概2.3%的误差；
4. 用regexp_like代替多个like语句： Presto查询优化器没有对多个like语句进行优化，使用regexp_like对性能有较大提升；
5. 使用Join语句时将大表放在左边： Presto中join的默认算法是broadcast join，即将join左边的表分割到多个worker，然后将join右边的表数据整个复制一份发送到每个worker进行计算。如果右边的表数据量太大，则可能会报内存溢出错误。

• Presto删除表报无权限问题

在生产环境中出现过Presto无法删除表，报权限不足的问题。经过分析发现，presto默认是以启动presto的用户来做hive元数据的，暂时叫做用户A， 但是存储用户是以jmx.configure 里面配置的用户(假设为用户B)来设定的，所以在presto里面删除表会提示权限不够。

解决方法：修改jmx.config，将【-DHADOOP_USER_NAME】里面的用户，由用户B改为用户A，保持用户一致，即可解决。