Presto简介及安装

1、Presto简介

1.1 Presto概念

Presto是一个开源的分布式SQL查询引擎，数据量支持GB到PB字节，主要用来处理秒级查询的场景

注意：虽然Presto可以解析SQL，但它不是一个标准的数据库；不是MySQL、Oracle的代替品，也不能用来处理在线事务（OLTP）

1.2 Presto架构

Presto由一个Coordinator和多个Worker组成

1.3 Presto优缺点

1.3.1 优点

1. Presto基于内存运算，减少了磁盘IO，计算更快

2. 能够连接多个数据源，跨数据源连表查

   如从Hive查询大量网站访问记录，然后从MySQL中匹配出设备信息

1.3.2 缺点

Presto能够处理PB级别的海量数据分析

但Presto并不是把PB级数据都放在内存中计算的

而是根据场景（如Count，AVG等聚合运算）是边读数据边计算，再清内存，再读数据再计算，这种耗得内存并不高

但是连表查，就可能产生大量的临时数据，因此速度会变慢

1.4 Presto、Impala性能比较

https://blog.csdn.net/u012551524/article/details/79124532

测试结论：Impala性能稍领先于Presto，但是Presto在数据源支持上非常丰富，包括Hive、图数据库、传统关系型数据库、Redis等

2、Presto安装

2.1 Presto Server安装

1. 官网地址

   https://prestodb.github.io/

2. 下载地址

   https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.196/presto-server-0.196.tar.gz

3. 将presto-server-0.196.tar.gz导入bigdata02的/opt/software目录下，并解压到/opt/module目录

   [hadoop@bigdata02 software]$ tar -zxvf presto-server-0.196.tar.gz -C /opt/module/
   

4. 修改名称为presto

   [hadoop@bigdata02 module]$ mv presto-server-0.196/ presto
   

5. 进入到/opt/module/presto目录，并创建存储数据文件夹

   [hadoop@bigdata02 presto]$ mkdir data
   

6. 进入到/opt/module/presto目录，并创建存储配置文件夹

   [hadoop@bigdata02 presto]$ mkdir etc
   

7. 配置在/opt/module/presto/etc目录下添加jvm.config配置文件

   [hadoop@bigdata02 etc]$ vim jvm.config
   添加如下内容
   
   -server
   -Xmx16G
   -XX:+UseG1GC
   -XX:G1HeapRegionSize=32M
   -XX:+UseGCOverheadLimit
   -XX:+ExplicitGCInvokesConcurrent
   -XX:+HeapDumpOnOutOfMemoryError
   -XX:+ExitOnOutOfMemoryError
   

8. Presto可以支持多个数据源，在Presto里面叫catalog，这里我们配置支持Hive的数据源，配置一个Hive的catalog

   [hadoop@bigdata02 etc]$ mkdir catalog
   [hadoop@bigdata02 catalog]$ vim hive.properties 
   添加如下内容
   
   connector.name=hive-hadoop2
   hive.metastore.uri=thrift://bigdata02:9083
   

9. 将bigdata02上的presto分发到bigdata03、bigdata04

   [hadoop@bigdata02 module]$ xsync presto
   

10. 分发之后，分别进入bigdata02、bigdata03、bigdata04三台主机的/opt/module/presto/etc的路径，配置node属性，node id每个节点都不一样

    [hadoop@bigdata02 etc]$ vim node.properties
    node.environment=production
    node.id=ffffffff-ffff-ffff-ffff-ffffffffffff
    node.data-dir=/opt/module/presto/data
     
    [hadoop@bigdata03 etc]$ vim node.properties
    node.environment=production
    node.id=ffffffff-ffff-ffff-ffff-fffffffffffe
    node.data-dir=/opt/module/presto/data
    
    [hadoop@bigdata04 etc]$ vim node.properties
    node.environment=production
    node.id=ffffffff-ffff-ffff-ffff-fffffffffffd
    node.data-dir=/opt/module/presto/data
    

11. Presto是由一个coordinator节点和多个worker节点组成,在bigdata02上配置成coordinator，在bigdata03、bigdata04上配置为worker

    • bigdata02上配置coordinator节点

      [hadoop@bigdata02 etc]$ vim config.properties
      添加内容如下
      
      coordinator=true
      node-scheduler.include-coordinator=false
      http-server.http.port=8881
      query.max-memory=50GB
      discovery-server.enabled=true
      discovery.uri=http://bigdata02:8881
      

    • bigdata03、bigdata04上配置worker节点

      [hadoop@bigdata03 etc]$ vim config.properties
      添加内容如下
      coordinator=false
      http-server.http.port=8881
      query.max-memory=50GB
      discovery.uri=http://bigdata02:8881
      
      [hadoop@bigdata04 etc]$ vim config.properties
      添加内容如下
      coordinator=false
      http-server.http.port=8881
      query.max-memory=50GB
      discovery.uri=http://bigdata02:8881
      

12. 在bigdata02的/opt/module/hive目录下，启动Hive Metastore，用hadoop角色

    [hadoop@bigdata02 hive]$ nohup bin/hive --service metastore >/dev/null 2>&1 &
    

13. 分别在bigdata02、bigdata03、bigdata04上启动Presto Server

    • 前台启动Presto，控制台显示日志

      [hadoop@bigdata02 presto]$ bin/launcher run
      [hadoop@bigdata03 presto]$ bin/launcher run
      [hadoop@bigdata04 presto]$ bin/launcher run
      

    • 后台启动Presto

      [hadoop@bigdata02 presto]$ bin/launcher start
      [hadoop@bigdata03 presto]$ bin/launcher start
      [hadoop@bigdata04 presto]$ bin/launcher start
      

14. 日志查看路径/opt/module/presto/data/var/log

2.2 Presto命令行Client安装

1. 下载Presto的客户端

   https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.196/presto-cli-0.196-executable.jar

2. 将presto-cli-0.196-executable.jar上传到bigdata02的/opt/module/presto文件夹下

3. 修改文件名称

   [hadoop@bigdata02 presto]$ mv presto-cli-0.196-executable.jar prestocli
   

4. 增加执行权限

   [hadoop@bigdata02 presto]$ chmod +x prestocli
   

5. 启动prestocli

   [hadoop@bigdata02 presto]$ ./prestocli --server bigdata02:8881 --catalog hive --schema default
   

6. Presto命令行操作

   Presto的命令行操作，相当于Hive命令行操作

   每个表必须要加上schema

   例如：select * from schema.table limit 100;

2.3 Presto可视化Client安装

1. 将yanagishima-18.0.zip上传到bigdata02的/opt/module目录

2. 解压缩yanagishima

   [hadoop@bigdata02 module]$ unzip yanagishima-18.0.zip
   

3. 进入到/opt/module/yanagishima-18.0/conf文件夹，编写yanagishima.properties配置

   [hadoop@bigdata02 conf]$ vim yanagishima.properties
   添加如下内容
   
   jetty.port=7080
   presto.datasources=hadoop-presto
   presto.coordinator.server.hadoop-presto=http://bigdata02:8881
   catalog.hadoop-presto=hive
   schema.hadoop-presto=default
   sql.query.engines=presto
   

4. 在/opt/module/yanagishima-18.0路径下启动yanagishima

   [hadoop@bigdata02 yanagishima-18.0]$ nohup bin/yanagishima-start.sh >y.log 2>&1 &
   

5. 启动web页面

   http://bigdata02:7080

   看到界面，进行查询了

   查看表结构

   

   比如执行select * from hive.gmall.ads_user_topic limit 5，这个句子里Hive这个词可以删掉，是上面配置的Catalog

   每个表后面都有个复制键，点一下会复制完整的表名，然后再上面框里面输入sql语句，ctrl+enter键或者执行Run按钮，查看显示结果

2.4 关于不支持LZO的问题

我们的数据很多都是采用的lzo格式，presto不支持这种数据格式，但是如果我们的数据如果采用的是列式存储，存储里面用的是lzo，通过配置是可以支持的，我们可以把hadoop下的lzo包拷贝到presto下，分发到其他的presto节点，然后重启presto，就能支持了

[hadoop@bigdata02 common]$ cp /opt/module/hadoop-2.7.2/share/hadoop/common/hadoop-lzo-0.4.20.jar /opt/module/presto/plugin/hive-hadoop2/

切换到/opt/module/presto/plugin/hive-hadoop2/目录 ：cd /opt/module/presto/plugin/hive-hadoop2/

分发到其他的节点：xsync hive-hadoop2