mysql olap 工具_OLAP分析工具之Presto

Presto

Presto是一个开源的分布式SQL查询引擎，数据量支持GB到PB字节，主要用来处理秒级查询的场景。

虽presto可以解析SQL，但它不是一个标准的数据库，不是MySQL、Oracle的代替品，也不能用来处理在线事务(OLTP)；

Presto、Impala性能比较

测试结论：Impala性能稍领先于Presto，但是Presto在数据源支持上非常丰富，包括Hive、图数据库、传统关系型数据库、Redis等。

下载安装

1)下载地址

Presto Server安装

2)将presto-server-0.196.tar.gz导入hadoop101的/opt/software目录下，并解压到/opt/module目录

[kris@hadoop101 software]$tar -zxvf presto-server-0.196.tar.gz -C /opt/module/

3)修改名称为presto

[kris@hadoop101 module]$mv presto-server-0.196/presto4)进入到/opt/module/presto目录，并创建存储数据文件夹

[kirs@hadoop101 presto]$mkdirdata5)进入到/opt/module/presto目录，并创建存储配置文件文件夹

[kirs@hadoop101 presto]$mkdiretc6)配置在/opt/module/presto/etc目录下添加jvm.config配置文件

[kirs@hadoop101 etc]$ vim jvm.config

-server-Xmx16G-XX:+UseG1GC-XX:G1HeapRegionSize=32M-XX:+UseGCOverheadLimit-XX:+ExplicitGCInvokesConcurrent-XX:+HeapDumpOnOutOfMemoryError-XX:+ExitOnOutOfMemoryError

View Code

7)Presto可以支持多个数据源，在Presto里面叫catalog，这里我们配置支持Hive的数据源，配置一个Hive的catalog

[kirs@hadoop101 etc]$ mkdircatalog

[kirs@hadoop101 catalog]$ vim hive.properties

connector.name=hive-hadoop2

hive.metastore.uri=thrift://hadoop101:9083

8)将hadoop101上的presto分发到hadoop102、hadoop103

[kirs@hadoop101 module]$ xsync presto9)分发之后，分别进入hadoop101、hadoop102、hadoop103三台主机的/opt/module/presto/etc的路径。配置node属性，node id每个节点都不一样。

[kirs@hadoop101etc]$vim node.properties

node.environment=production

node.id=ffffffff-ffff-ffff-ffff-ffffffffffff

node.data-dir=/opt/module/presto/data

[kirs@hadoop102etc]$vim node.properties

node.environment=production

node.id=ffffffff-ffff-ffff-ffff-fffffffffffe

node.data-dir=/opt/module/presto/data

[kirs@hadoop103etc]$vim node.properties

node.environment=production

node.id=ffffffff-ffff-ffff-ffff-fffffffffffd

node.data-dir=/opt/module/presto/data

10)Presto是由一个coordinator节点和多个worker节点组成。在hadoop101上配置成coordinator，在hadoop102、hadoop103上配置为worker。

(1)hadoop101上配置coordinator节点

[kirs@hadoop101 etc]$ vim config.properties

coordinator=truenode-scheduler.include-coordinator=falsehttp-server.http.port=8881query.max-memory=50GB

discovery-server.enabled=truediscovery.uri=http://hadoop101:8881

(2)hadoop102、hadoop103上配置worker节点

[kirs@hadoop102 etc]$ vim config.properties

coordinator=falsehttp-server.http.port=8881query.max-memory=50GB

discovery.uri=http://hadoop101:8881

[kirs@hadoop103 etc]$ vim config.properties

coordinator=falsehttp-server.http.port=8881query.max-memory=50GB

discovery.uri=http://hadoop101:8881

启动

11)在/opt/module/hive目录下，启动Hive Metastore，用kris角色

[kris@hadoop101 hive] nohup bin/hive --service metastore >/dev/null 2>&1 &

12)分别在hadoop101、hadoop102、hadoop103上启动presto server

(1)前台启动presto，控制台显示日志

[kirs@hadoop101 presto]$ bin/launcher run

[kirs@hadoop102 presto]$ bin/launcher run

[kirs@hadoop103 presto]$ bin/launcher run

(2)或者后台启动presto

[kirs@hadoop101 presto]$ bin/launcher start

[kirs@hadoop102 presto]$ bin/launcher start

[kirs@hadoop103 presto]$ bin/launcher start

日志查看路径/opt/module/presto/data/var/log

Presto命令行Client安装

用的少

2)将presto-cli-0.196-executable.jar上传到hadoop101的/opt/module/presto文件夹下3)修改文件名称

[kirs@hadoop101 presto]mv presto−cli−0.196−executable.jar prestocli

4)增加执行权限[kirs@hadoop101presto] chmod +x prestocli5)启动prestocli

[kirs@hadoop101 presto]$ ./prestocli --server hadoop101:8881 --catalog hive --schema default6)Presto命令行操作

Presto的命令行操作，相当于hive命令行操作。每个表必须要加上schema。

例如：select * from schema.table limit 100

Presto可视化Client安装

1)将yanagishima-18.0.zip上传到hadoop101的/opt/module目录2)解压缩yanagishima

[kirs@hadoop101 module]$unzip yanagishima-18.0.zipcd yanagishima-18.0

3)进入到/opt/module/yanagishima-18.0/conf文件夹，编写yanagishima.properties配置

[kirs@hadoop101 conf]$ vim yanagishima.properties

jetty.port=7080presto.datasources=kris-presto

presto.coordinator.server.kris-presto=http://hadoop101:8881

catalog.kris-presto=hive

schema.kris-presto=default

sql.query.engines=presto

4)在/opt/module/yanagishima-18.0路径下启动yanagishima

[kirs@hadoop101 yanagishima-18.0]$ nohup bin/yanagishima-start.sh >y.log 2>&1 &

5)启动web页面

http://hadoop101:7080 看到界面，进行查询了。

这里有个Tree View，可以查看所有表的结构，包括Schema、表、字段等。

比如执行select * from hive.sparkmall.user_info limit 10，这个句子里Hive这个词可以删掉，是上面配置的Catalog。

每个表后面都有个复制键，点一下会复制完整的表名，然后再上面框里面输入sql语句，ctrl+enter键执行显示结果

Presto的优化

数据存储的优化

1合理设置分区

与Hive类似，Presto会根据元数据信息读取分区数据，合理的分区能减少Presto数据读取量，提升查询性能。2使用列式存储

Presto对ORC文件读取做了特定优化，因此在Hive中创建Presto使用的表时，建议采用ORC格式存储。相对于Parquet，Presto对ORC支持更好。3使用压缩

数据压缩可以减少节点间数据传输对IO带宽压力，对于即席查询需要快速解压，建议采用Snappy压缩。

查询SQL的优化

1只选择使用的字段

由于采用列式存储，选择需要的字段可加快字段的读取、减少数据量。避免采用*读取所有字段。[GOOD]: SELECT time, user, host FROMtbl[BAD]: SELECT * FROMtbl2过滤条件必须加上分区字段

对于有分区的表，where语句中优先使用分区字段进行过滤。acct_day是分区字段，visit_time是具体访问时间。[GOOD]: SELECT time, user, host FROM tbl where acct_day=20171101

[BAD]: SELECT * FROM tbl where visit_time=20171101

3 GroupBy语句优化

合理安排Group by语句中字段顺序对性能有一定提升。将Group By语句中字段按照每个字段distinct数据多少进行降序排列。[GOOD]: SELECT GROUP BYuid, gender[BAD]: SELECT GROUP BYgender, uid4 Orderby时使用LimitOrderby需要扫描数据到单个worker节点进行排序，导致单个worker需要大量内存。如果是查询Top N或者Bottom N，使用limit可减少排序计算和内存压力。[GOOD]: SELECT * FROM tbl ORDER BY time LIMIT 100

[BAD]: SELECT * FROM tbl ORDER BYtime5使用Join语句时将大表放在左边

Presto中join的默认算法是broadcastjoin，即将join左边的表分割到多个worker，然后将join右边的表数据整个复制一份发送到每个worker进行计算。如果右边的表数据量太大，则可能会报内存溢出错误。[GOOD] SELECT ... FROM large_table l join small_table s on l.id =s.id[BAD] SELECT ... FROM small_table s join large_table l on l.id = s.id

注意事项

1字段名引用

避免和关键字冲突：MySQL对字段加反引号`、Presto对字段加双引号分割

当然，如果字段名称不是关键字，可以不加这个双引号。2时间函数

对于Timestamp，需要进行比较的时候，需要添加Timestamp关键字，而MySQL中对Timestamp可以直接进行比较。/*MySQL的写法*/

SELECT t FROM a WHERE t > '2017-01-01 00:00:00';/*Presto中的写法*/

SELECT t FROM a WHERE t > timestamp '2017-01-01 00:00:00';3不支持INSERT OVERWRITE语法

Presto中不支持insert overwrite语法，只能先delete，然后insertinto。4PARQUET格式

Presto目前支持Parquet格式，支持查询，但不支持insert。