Presto安装与使用

目录

一、Presto概述

二、Presto架构

三、Presto优缺点

四、 Presto、Impala性能比较

五、安装

5.1 Presto Server安装

5.2 Presto命令行Client安装

5.3 Presto可视化Client安装

---

一、Presto概述

Presto是由Facebook开发的，是一个运行在多台服务器上的分布式查询引擎，本身并不存储数据，但是可以接入多种数据源（Hive、Oracle、MySql、Kafka、Redis等），并且支持跨数据源的级联查询。

Presto是一个开源的分布式SQL查询引擎，数据量支持GB到PB字节，主要用来处理秒级查询的场景。

注意：虽然Presto可以解析SQL，但它不是一个标准的数据库。不是MySQL、Oracle的代替品，也不能用来处理在线事务（OLTP）。

二、Presto架构

三、Presto优缺点

优势（相对于Hive）：
    Presto是一个低延迟高并发的内存计算引擎，相比Hive，执行效率要高很多。
    Presto以分析师的需求作为目标，他们期望响应时间小于1秒到几分钟。 Presto终结了数据分析的两难选择，要么使用速度快的昂贵的商业方案，要么使用消耗大量硬件的慢速的“免费”方案。

那么，为什么presto查询速度比Hive快？
    Presto是常驻任务，接受请求立即执行，全内存并行计算；hive需要用yarn做资源调度，接受查询需要先申请资源，启动进程，并且采用mapreduce计算模型，中间结果会经过磁盘

四、 Presto、Impala性能比较

https://blog.csdn.net/u012551524/article/details/79124532

测试结论：Impala性能稍领先于Presto，但是Presto在数据源支持上非常丰富，包括Hive、图数据库、传统关系型数据库、Redis等。

五、安装

5.1 Presto Server安装

-- 1.官网地址
https://prestodb.github.io/

-- 2.下载地址
https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.196/presto-server-0.196.tar.gz 

-- 3.将presto-server-0.196.tar.gz导入hadoop102的/opt/software目录下，并解压到/opt/module目录
[@hadoop102 software]$ tar -zxvf presto-server-0.196.tar.gz -C /opt/module/

-- 4.修改名称为presto
[@hadoop102 module]$ mv presto-server-0.196/ presto

-- 5.进入到/opt/module/presto目录，并创建存储数据文件夹
[@hadoop102 presto]$ mkdir data

-- 6.进入到/opt/module/presto目录，并创建存储配置文件文件夹
[@hadoop102 presto]$ mkdir etc

-- 7.配置在/opt/module/presto/etc目录下添加jvm.config配置文件
[@hadoop102 etc]$ vim jvm.config
添加如下内容
-server
-Xmx16G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:+ExitOnOutOfMemoryError

-- 8.Presto可以支持多个数据源，在Presto里面叫catalog，这里我们配置支持Hive的数据源，配置一个Hive的catalog
[@hadoop102 etc]$ mkdir catalog
[@hadoop102 catalog]$ vim hive.properties 
添加如下内容
connector.name=hive-hadoop2
hive.metastore.uri=thrift://hadoop102:9083

-- 9.将hadoop102上的presto分发到hadoop103、hadoop104
[u@hadoop102 module]$ xsync presto

-- 10.分发之后，分别进入hadoop102、hadoop103、hadoop104三台主机的/opt/module/presto/etc的路径。配置node属性，node id每个节点都不一样。
[@hadoop102 etc]$ vim node.properties
node.environment=production
node.id=ffffffff-ffff-ffff-ffff-ffffffffffff
node.data-dir=/opt/module/presto/data

[@hadoop103 etc]$ vim node.properties
node.environment=production
node.id=ffffffff-ffff-ffff-ffff-fffffffffffe
node.data-dir=/opt/module/presto/data

[@hadoop104 etc]$ vim node.properties
node.environment=production
node.id=ffffffff-ffff-ffff-ffff-fffffffffffd
node.data-dir=/opt/module/presto/data

-- 11.Presto是由一个coordinator节点和多个worker节点组成。在hadoop102上配置成coordinator，在hadoop103、hadoop104上配置为worker。
（1）hadoop102上配置coordinator节点
[@hadoop102 etc]$ vim config.properties
添加内容如下
coordinator=true
node-scheduler.include-coordinator=false
http-server.http.port=8881
query.max-memory=50GB
discovery-server.enabled=true
discovery.uri=http://hadoop102:8881
（2）hadoop103、hadoop104上配置worker节点
[@hadoop103 etc]$ vim config.properties
添加内容如下
coordinator=false
http-server.http.port=8881
query.max-memory=50GB
discovery.uri=http://hadoop102:8881

[@hadoop104 etc]$ vim config.properties
添加内容如下
coordinator=false
http-server.http.port=8881
query.max-memory=50GB
discovery.uri=http://hadoop102:8881

-- 12.在hadoop102的/opt/module/hive目录下，启动Hive Metastore，用atguigu角色
[atguigu@hadoop102 hive]$
nohup bin/hive --service metastore >/dev/null 2>&1 &

-- 13.分别在hadoop102、hadoop103、hadoop104上启动Presto Server
（1）前台启动Presto，控制台显示日志
[@hadoop102 presto]$ bin/launcher run
[@hadoop103 presto]$ bin/launcher run
[@hadoop104 presto]$ bin/launcher run
（2）后台启动Presto
[@hadoop102 presto]$ bin/launcher start
[@hadoop103 presto]$ bin/launcher start
[@hadoop104 presto]$ bin/launcher start

-- 14.日志查看路径/opt/module/presto/data/var/log

5.2 Presto命令行Client安装

-- 1.下载Presto的客户端
https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.196/presto-cli-0.196-executable.jar

-- 2.将presto-cli-0.196-executable.jar上传到hadoop102的/opt/module/presto文件夹下

-- 3.修改文件名称
[@hadoop102 presto]$ mv presto-cli-0.196-executable.jar  prestocli

-- 4.增加执行权限
[@hadoop102 presto]$ chmod +x prestocli

-- 5.启动prestocli
[@hadoop102 presto]$ ./prestocli --server hadoop102:8881 --catalog hive --schema default

-- 6.Presto命令行操作
Presto的命令行操作，相当于Hive命令行操作。每个表必须要加上schema。
例如：
select * from schema.table limit 100

5.3 Presto可视化Client安装

 

-- 1.将yanagishima-18.0.zip上传到hadoop102的/opt/module目录

-- 2.解压缩yanagishima

[@hadoop102 module]$ unzip yanagishima-18.0.zip
cd yanagishima-18.0

-- 3.进入到/opt/module/yanagishima-18.0/conf文件夹，编写yanagishima.properties配置
[@hadoop102 conf]$ vim yanagishima.properties
	添加如下内容
jetty.port=7080
presto.datasources=atguigu-presto
presto.coordinator.server.atguigu-presto=http://hadoop102:8881
catalog.atguigu-presto=hive
schema.atguigu-presto=default
sql.query.engines=presto

-- 4.在/opt/module/yanagishima-18.0路径下启动yanagishima
[@hadoop102 yanagishima-18.0]$
nohup bin/yanagishima-start.sh >y.log 2>&1 &

-- 5.启动web页面
http://hadoop102:7080 
看到界面，进行查询了。

-- 6.查看表结构

比如执行select * from hive.gmall.ads_user_topic limit 5，这个句子里Hive这个词可以删掉，是上面配置的Catalog

每个表后面都有个复制键，点一下会复制完整的表名，然后再上面框里面输入sql语句，ctrl+enter键或者执行Run按钮，查看显示结果