即席查询工具---Presto的安装与使用（hive数据源）

1.Presto简介

1.1 Presto概念

Presto是一个开源的分布式的sql查询引擎，数据量支持GB到PB字节，主要用来处理秒级查询的场景。

注意：虽然Presto可以解析SQL，但它不是一个标准的数据库。不是Mysql或者oracle的代替品，也不能处理在线事务（OLTP）

1.2 Presto架构

1.3 Presto优缺点

1.4 Presto、Impala性能比较

https://blog.csdn.net/u012551524/article/details/79124532

测试结论：Impala性能稍领先于Presto，但是Presto在数据源支持上非常丰富，包括Hive、图数据库、传统关系型数据库、Redis等。

2.Presto安装

2.1 Presto Server安装

2.1.1 官网地址

https://prestodb.github.io/

2.1.2 下载地址

https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.196/presto-server-0.196.tar.gz

这里我下载过了：链接：https://pan.baidu.com/s/1qfaUc0ZU8LXNkAmLNwJn5w  提取码：hgon 

2.1.3  解压

[an1@hadoop101 presto]$ tar -zxvf presto-server-0.196.tar.gz -C /opt/module/

2.1.4 修改名字

[an1@hadoop101 module]$ mv presto-server-0.196/ ./presto

2.1.5 进入到/opt/module/presto目录，并创建存储数据文件夹

[an1@hadoop101 presto]$ mkdir data

2.1.6 进入到/opt/module/presto目录，并创建存储配置文件文件夹

[an1@hadoop101 presto]$ mkdir etc

2.1.7 配置在/opt/module/presto/etc目录下添加jvm.config配置文件

[an1@hadoop101 etc]$ vim jvm.config

添加如下内容

-server
-Xmx16G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:+ExitOnOutOfMemoryError

2.1.8 配置数据源

Presto可以支持多个数据源，在Presto里面叫catalog，这里我们配置支持Hive的数据源，配置一个Hive的catalog

[an1@hadoop101 etc]$ mkdir catalog
[an1@hadoop101 catalog]$ vim hive.properties

添加内容如下

connector.name=hive-hadoop2
hive.metastore.uri=thrift://alihadoop101:9083

这里的connector.name=hive-hadoop2不能改为其他的

hive.metastore.uri=thrift://alihadoop101:9083是hive的地址

2.1.9 将alihadoop101上的presto分发到alihadoop102，alihadoop103

分发脚本，要安装rsync工具。install安装就可以

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
  echo Not Enough Arguement!
  exit;
fi
#2. 遍历集群所有机器
for host in alihadoop101 alihadoop102 alihadoop103
do
  echo ====================  $host  ====================
  #3. 遍历所有目录，挨个发送
  for file in $@
  do
    #4. 判断文件是否存在
    if [ -e $file ]
    then
      #5. 获取父目录
      pdir=$(cd -P $(dirname $file); pwd)
      #6. 获取当前文件的名称
      fname=$(basename $file)
      ssh $host "mkdir -p $pdir"
      rsync -av $pdir/$fname $host:$pdir
    else
      echo $file does not exists!
    fi
  done
done

分发presto

[an1@hadoop101 module]$ xsync.sh presto/

2.1.10 修改节点名称

分发之后，分别进入hadoop102、hadoop103、hadoop104三台主机的/opt/module/presto/etc的路径。配置node属性，node id每个节点都不一样。

[an1@hadoop101 etc]$ vim node.properties

node.environment=production
node.id=ffffffff-ffff-ffff-ffff-ffffffffffff
node.data-dir=/opt/module/presto/data

[an1@hadoop102 etc]$ vim node.properties

node.environment=production
node.id=ffffffff-ffff-ffff-ffff-fffffffffffe
node.data-dir=/opt/module/presto/data

[an1@hadoop103 etc]$ vim node.properties

node.environment=production
node.id=ffffffff-ffff-ffff-ffff-fffffffffffd
node.data-dir=/opt/module/presto/data

2.1.11 配置coordinator和worker

Presto是由一个coordinator节点和多个worker节点组成。在alihadoop101上配置成coordinator，在alihadoop102、alihadoop103上配置为worker。

1) alihadoop101上配置coordinator节点

[an1@hadoop101 etc]$ vim config.properties

添加内容如下

coordinator=true
node-scheduler.include-coordinator=false
http-server.http.port=8881
query.max-memory=50GB
discovery-server.enabled=true
discovery.uri=http://alihadoop101:8881

2）alihadoop102，alihadoop103上配置worker节点

alihadoop102配置

[an1@hadoop102 etc]$ vim config.properties

添加内容如下

coordinator=false
http-server.http.port=8881
query.max-memory=50GB
discovery.uri=http://alihadoop101:8881

alihadoop103配置

[an1@hadoop103 etc]$ vim config.properties

添加内容如下

coordinator=false
http-server.http.port=8881
query.max-memory=50GB
discovery.uri=http://alihadoop101:8881

2.1.12 启动hive Metastore

因为要查询的数据来自于hive，所以要启动hive metastore，这里自行启动就行了

2.1.13 启动presto server

分别在alihadoop101、alihadoop102、alihadoop103上启动Presto Server

后台启动Presto

[an1@hadoop101 presto]$ bin/launcher start
[an1@hadoop102 presto]$ bin/launcher start
[an1@hadoop103 presto]$ bin/launcher start

日志查看路径/opt/module/presto/data/var/log

2.2 Presto可视化Client安装

Presto有两种Client的安装，一种是命令行安装，一种是可视化安装。用命令行的Client安装这里就不在写了，因为命令行用的不太方便，这里说一下可视化安装就可以了

2.2.1 下载yanagishima-18.0.zip

这里我下载过了：链接：https://pan.baidu.com/s/1qfaUc0ZU8LXNkAmLNwJn5w  提取码：hgon 

2.2.2 解压缩yanagishima

[an1@hadoop101 presto]$ unzip yanagishima-18.0.zip -d /opt/module/

2.2.3 修改配置

进入到/opt/module/yanagishima-18.0/conf文件夹，编写yanagishima.properties配置

[an1@hadoop101 conf]$ pwd
/opt/module/yanagishima-18.0/conf
[an1@hadoop101 conf]$ vim yanagishima.properties 

修改内容如下

jetty.port=7080
presto.datasources=an-presto
presto.coordinator.server.an-presto=http://alihadoop101:8881
catalog.an-presto=hive
schema.an-presto=default
sql.query.engines=presto

2.2.4 启动yanagishima

[an1@hadoop101 yanagishima-18.0]$ pwd
/opt/module/yanagishima-18.0
[an1@hadoop101 yanagishima-18.0]$ nohup bin/yanagishima-start.sh >y.log 2>&1 &

2.2.5 启动web页面

http://alihadoop101:7080

看到界面，进行查询了。

2.2.6 查看表结构

这里显示的直接就是hive中的数据，因为我们配置的就是hive数据源

这里有个Tree View，可以查看所有表的结构，包括Schema、表、字段等

2.2.7 测试

每个表后面都有个复制键，点一下会复制完整的表名，然后再上面框里面输入sql语句，ctrl+enter键执行显示结果

3. Presto优化之数据存储

3.1 合理设置分区

与Hive类似，Presto会根据元数据信息读取分区数据，合理的分区能减少Presto数据读取量，提升查询性能。

3.2 使用列式存储

Presto对ORC文件读取做了特定优化，因此在Hive中创建Presto使用的表时，建议采用ORC格式存储。相对于Parquet，Presto对ORC支持更好。

3.3 使用压缩

数据压缩可以减少节点间数据传输对IO带宽压力，对于即席查询需要快速解压，建议采用Snappy压缩。

4. Presto优化之查询SQL

4.1 只选择使用的字段

由于采用列式存储，选择需要的字段可加快字段的读取、减少数据量。避免采用*读取所有字段。

[GOOD]: SELECT time, user, host FROM tbl

[BAD]:  SELECT * FROM tbl

4.2 过滤条件必须加上分区字段

对于有分区的表，where语句中优先使用分区字段进行过滤。acct_day是分区字段，visit_time是具体访问时间。

[GOOD]: SELECT time, user, host FROM tbl where acct_day=20171101

[BAD]:  SELECT * FROM tbl where visit_time=20171101

4.3 Group By语句优化

合理安排Group by语句中字段顺序对性能有一定提升。将Group By语句中字段按照每个字段distinct数据多少进行降序排列。

[GOOD]: SELECT GROUP BY uid, gender

[BAD]:  SELECT GROUP BY gender, uid

4.4 Order by时使用Limit

Order by需要扫描数据到单个worker节点进行排序，导致单个worker需要大量内存。如果是查询Top N或者Bottom N，使用limit可减少排序计算和内存压力。

[GOOD]: SELECT * FROM tbl ORDER BY time LIMIT 100

[BAD]:  SELECT * FROM tbl ORDER BY time

4.5  使用Join语句时将大表放在左边

Presto中join的默认算法是broadcast join，即将join左边的表分割到多个worker，然后将join右边的表数据整个复制一份发送到每个worker进行计算。如果右边的表数据量太大，则可能会报内存溢出错误。

[GOOD] SELECT ... FROM large_table l join small_table s on l.id = s.id
[BAD] SELECT ... FROM small_table s join large_table l on l.id = s.id

5. 注意事项

5.1 字段名引用

避免和关键字冲突：MySQL对字段加反引号`、Presto对字段加双引号分割

当然，如果字段名称不是关键字，可以不加这个双引号。

5.2 时间函数

对于Timestamp，需要进行比较的时候，需要添加Timestamp关键字，而MySQL中对Timestamp可以直接进行比较。

/*MySQL的写法*/
SELECT t FROM a WHERE t > '2017-01-01 00:00:00'; 

/*Presto中的写法*/
SELECT t FROM a WHERE t > timestamp '2017-01-01 00:00:00';

5.3 不支持INSERT OVERWRITE语法

Presto中不支持insert overwrite语法，只能先delete，然后insert into。

5.4  PARQUET格式

Presto目前支持Parquet格式，支持查询，但不支持insert。

6. Mysql数据源

Presto可以多数据源进行查询，mysql的connector配置

https://prestodb.io/docs/current/connector/mysql.html

在etc/catalog下面创建mysql.properties

connector.name=mysql
connection-url=jdbc:mysql://alihadoop101:3306
connection-user=root
connection-password=123456

重启presto