1、Presto简介
1.1 Presto概念
Presto是一个开源的分布式SQL查询引擎,数据量支持GB到PB字节,主要用来处理秒级查询的场景
注意:虽然Presto可以解析SQL,但它不是一个标准的数据库;不是MySQL、Oracle的代替品,也不能用来处理在线事务(OLTP)
1.2 Presto架构
Presto由一个Coordinator和多个Worker组成
1.3 Presto优缺点
1.3.1 优点
-
Presto基于内存运算,减少了磁盘IO,计算更快
-
能够连接多个数据源,跨数据源连表查
如从Hive查询大量网站访问记录,然后从MySQL中匹配出设备信息
1.3.2 缺点
Presto能够处理PB级别的海量数据分析
但Presto并不是把PB级数据都放在内存中计算的
而是根据场景(如Count,AVG等聚合运算)是边读数据边计算,再清内存,再读数据再计算,这种耗得内存并不高
但是连表查,就可能产生大量的临时数据,因此速度会变慢
1.4 Presto、Impala性能比较
https://blog.csdn.net/u012551524/article/details/79124532
测试结论:Impala性能稍领先于Presto,但是Presto在数据源支持上非常丰富,包括Hive、图数据库、传统关系型数据库、Redis等
2、Presto安装
2.1 Presto Server安装
-
官网地址
-
下载地址
https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.196/presto-server-0.196.tar.gz
-
将
presto-server-0.196.tar.gz
导入bigdata02的/opt/software目录下,并解压到/opt/module目录[hadoop@bigdata02 software]$ tar -zxvf presto-server-0.196.tar.gz -C /opt/module/
-
修改名称为presto
[hadoop@bigdata02 module]$ mv presto-server-0.196/ presto
-
进入到/opt/module/presto目录,并创建存储数据文件夹
[hadoop@bigdata02 presto]$ mkdir data
-
进入到/opt/module/presto目录,并创建存储配置文件夹
[hadoop@bigdata02 presto]$ mkdir etc
-
配置在/opt/module/presto/etc目录下添加
jvm.config
配置文件[hadoop@bigdata02 etc]$ vim jvm.config 添加如下内容 -server -Xmx16G -XX:+UseG1GC -XX:G1HeapRegionSize=32M -XX:+UseGCOverheadLimit -XX:+ExplicitGCInvokesConcurrent -XX:+HeapDumpOnOutOfMemoryError -XX:+ExitOnOutOfMemoryError
-
Presto可以支持多个数据源,在Presto里面叫catalog,这里我们配置支持Hive的数据源,配置一个Hive的
catalog
[hadoop@bigdata02 etc]$ mkdir catalog [hadoop@bigdata02 catalog]$ vim hive.properties 添加如下内容 connector.name=hive-hadoop2 hive.metastore.uri=thrift://bigdata02:9083
-
将bigdata02上的presto分发到bigdata03、bigdata04
[hadoop@bigdata02 module]$ xsync presto
-
分发之后,分别进入bigdata02、bigdata03、bigdata04三台主机的/opt/module/presto/etc的路径,配置
node
属性,node id每个节点都不一样[hadoop@bigdata02 etc]$ vim node.properties node.environment=production node.id=ffffffff-ffff-ffff-ffff-ffffffffffff node.data-dir=/opt/module/presto/data [hadoop@bigdata03 etc]$ vim node.properties node.environment=production node.id=ffffffff-ffff-ffff-ffff-fffffffffffe node.data-dir=/opt/module/presto/data [hadoop@bigdata04 etc]$ vim node.properties node.environment=production node.id=ffffffff-ffff-ffff-ffff-fffffffffffd node.data-dir=/opt/module/presto/data
-
Presto是由一个
coordinator
节点和多个worker
节点组成,在bigdata02上配置成coordinator,在bigdata03、bigdata04上配置为worker-
bigdata02上配置
coordinator
节点[hadoop@bigdata02 etc]$ vim config.properties 添加内容如下 coordinator=true node-scheduler.include-coordinator=false http-server.http.port=8881 query.max-memory=50GB discovery-server.enabled=true discovery.uri=http://bigdata02:8881
-
bigdata03、bigdata04上配置
worker
节点[hadoop@bigdata03 etc]$ vim config.properties 添加内容如下 coordinator=false http-server.http.port=8881 query.max-memory=50GB discovery.uri=http://bigdata02:8881 [hadoop@bigdata04 etc]$ vim config.properties 添加内容如下 coordinator=false http-server.http.port=8881 query.max-memory=50GB discovery.uri=http://bigdata02:8881
-
-
在bigdata02的/opt/module/hive目录下,启动Hive Metastore,用hadoop角色
[hadoop@bigdata02 hive]$ nohup bin/hive --service metastore >/dev/null 2>&1 &
-
分别在bigdata02、bigdata03、bigdata04上启动Presto Server
-
前台启动Presto
,控制台显示日志[hadoop@bigdata02 presto]$ bin/launcher run [hadoop@bigdata03 presto]$ bin/launcher run [hadoop@bigdata04 presto]$ bin/launcher run
-
后台启动Presto
[hadoop@bigdata02 presto]$ bin/launcher start [hadoop@bigdata03 presto]$ bin/launcher start [hadoop@bigdata04 presto]$ bin/launcher start
-
-
日志查看路径
/opt/module/presto/data/var/log
2.2 Presto命令行Client安装
-
下载Presto的客户端
https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.196/presto-cli-0.196-executable.jar
-
将presto-cli-0.196-executable.jar上传到bigdata02的/opt/module/presto文件夹下
-
修改文件名称
[hadoop@bigdata02 presto]$ mv presto-cli-0.196-executable.jar prestocli
-
增加执行权限
[hadoop@bigdata02 presto]$ chmod +x prestocli
-
启动prestocli
[hadoop@bigdata02 presto]$ ./prestocli --server bigdata02:8881 --catalog hive --schema default
-
Presto命令行操作
Presto的命令行操作,相当于Hive命令行操作
每个表必须要加上schema
例如:
select * from schema.table limit 100;
2.3 Presto可视化Client安装
-
将yanagishima-18.0.zip上传到bigdata02的/opt/module目录
-
解压缩yanagishima
[hadoop@bigdata02 module]$ unzip yanagishima-18.0.zip
-
进入到/opt/module/yanagishima-18.0/conf文件夹,编写yanagishima.properties配置
[hadoop@bigdata02 conf]$ vim yanagishima.properties 添加如下内容 jetty.port=7080 presto.datasources=hadoop-presto presto.coordinator.server.hadoop-presto=http://bigdata02:8881 catalog.hadoop-presto=hive schema.hadoop-presto=default sql.query.engines=presto
-
在/opt/module/yanagishima-18.0路径下启动yanagishima
[hadoop@bigdata02 yanagishima-18.0]$ nohup bin/yanagishima-start.sh >y.log 2>&1 &
-
启动web页面
看到界面,进行查询了
查看表结构
比如执行
select * from hive.gmall.ads_user_topic limit 5
,这个句子里Hive这个词可以删掉,是上面配置的Catalog每个表后面都有个复制键,点一下会复制完整的表名,然后再上面框里面输入sql语句,ctrl+enter键或者执行Run按钮,查看显示结果
2.4 关于不支持LZO的问题
我们的数据很多都是采用的lzo格式,presto不支持这种数据格式,但是如果我们的数据如果采用的是列式存储,存储里面用的是lzo,通过配置是可以支持的,我们可以把hadoop下的lzo包拷贝到presto下,分发到其他的presto节点,然后重启presto,就能支持了
[hadoop@bigdata02 common]$ cp /opt/module/hadoop-2.7.2/share/hadoop/common/hadoop-lzo-0.4.20.jar /opt/module/presto/plugin/hive-hadoop2/
切换到/opt/module/presto/plugin/hive-hadoop2/目录 :cd /opt/module/presto/plugin/hive-hadoop2/
分发到其他的节点:xsync hive-hadoop2