数仓即席查询---Presto

Presto简介

presto是一个开源的分布式SQL查询引擎,数据量支持GB到PB级,主要用来处理秒级查询场景
ps:虽然presto可以解析SQL,但它不是一个标准的数据库,不是MySQL,oracle的代替品,也不能用来处理在线事务(OLTP);官网:https://prestodb.io/

Presto架构

Presto由一个coordinator和多个worker组成
在这里插入图片描述

Presto优缺点

优点

1.基于内存计算,减少了磁盘IO,计算更快
2.能够连接多个数据源,跨数据源连表查,如从hive查询大量网站访问记录,然后从MySQL中匹配出设备信息

缺点

presto能够处理PB级别的海量数据分析,但presto并不是把PB级数据都放在内存中计算的;而是根据场景,如count,AVG等聚合运算,是边读数据边计算,再清内存,再读数据再计算,这种耗内存并不高;但是连表查询,就可能产生大量的临时数据,因此速度会变慢,反而hive此时更擅长

Presto和impala的对比

这个文章写得很好:https://blog.csdn.net/u012551524/article/details/79124532
测试结论:Impala性能稍领先于Presto,但是Presto在数据源支持上非常丰富,包括Hive、图数据库、传统关系型数据库、Redis等

Presto安装

Presto Server安装

1.官网地址:https://prestodb.github.io/
2.下载地址:https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.196/presto-server-0.196.tar.gz
3.将文件上传到/home/hadoop-jrq/bigdata下
4.解压:tar -zxvf presto-server-0.196.tar.gz
5.修改名称为presto:mv presto-server-0.196/ presto
6.进入presto目录,并创建存储数据文件夹:mkdir data
7.创建存储配置文件文件夹:mkdir etc
8.在presto/etc目录下添加jvm.config配置文件

vi jvm.config
添加内容:

-server
-Xmx16G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:+ExitOnOutOfMemoryError

9.Presto可以支持多个数据源,在Presto里面叫catalog,配置支持Hive的数据源,配置一个Hive的catalog
注意,是在presto/etc目录下

mkdir catalog
cd catalog
vi hive.properties
添加如下内容:

connector.name=hive-hadoop2
hive.metastore.uri=thrift://master:9083

10.将master上的presto分发到slave1、slave2

scp -r ~/bigdata/presto hadoop-jrq@slave1:~/bigdata/
scp -r ~/bigdata/presto hadoop-jrq@slave2:~/bigdata/

11.分发之后,分别进入master、slave1、slave2三台主机的presto/etc的路径。配置node属性,node id每个节点都不一样。
vi node.properties

master:
node.environment=production
node.id=ffffffff-ffff-ffff-ffff-ffffffffffff
node.data-dir=/home/hadoop-jrq/bigdata/presto/data
slave1:
node.environment=production
node.id=ffffffff-ffff-ffff-ffff-fffffffffffe
node.data-dir=/home/hadoop-jrq/bigdata/presto/data
slave2:
node.environment=production
node.id=ffffffff-ffff-ffff-ffff-fffffffffffd
node.data-dir=/home/hadoop-jrq/bigdata/presto/data

12.Presto是由一个coordinator节点和多个worker节点组成。在master上配置成coordinator,在slave1、slave2上配置为worker。
master上配置coordinator节点(etc下)
vi config.properties

coordinator=true
node-scheduler.include-coordinator=false
http-server.http.port=8881
query.max-memory=50GB
discovery-server.enabled=true
discovery.uri=http://master:8881

slave1、slave2上配置worker节点
vi config.properties

coordinator=false
http-server.http.port=8881
query.max-memory=50GB
discovery.uri=http://master:8881

13.启动Hive Metastore

nohup hive --service metastore > ~/bigdata/hive/logs/metastore.log 2>&1 &

14.分别在master、slave1、slave2上启动Presto Server
前台启动Presto,控制台显示日志(第一次运行建议用这个,可以直接打印日志信息,如果有错误也好直接定位)

bin/launcher run

后台启动Presto

 bin/launcher start

15.日志查看路径presto/data/var/log
16.问题点:
1)Java HotSpot™ 64-Bit Server VM warning: INFO: os::commit_memory(0x0000000480000000, 2818572288, 0) failed; error=‘Cannot allocate memory’ (errno=12)
原因:机器的内存大小不够
解决:
config.properties的query.max-memory值视你的机器内存更改
2)java.lang.IllegalArgumentException: No factory for connector hive-maste
原因:hive.properties配置需要指定hadoop的版本
改成这样就可以了connector.name=hive-hadoop2

Presto命令行Client安装

1.下载Presto的客户端
https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.196/presto-cli-0.196-executable.jar
2.将presto-cli-0.196-executable.jar上传到master的bigdata/presto文件夹下
3.修改文件名称
mv presto-cli-0.196-executable.jar prestocli
4.增加执行权限
chmod +x prestocli
5.启动prestocli
./prestocli --server master:8881 --catalog hive --schema default
6.Presto命令行操作
Presto的命令行操作,相当于Hive命令行操作。每个表必须要加上schema(数据库名)。
例如:
select * from schema.table limit 100

Presto可视化Client安装

1.下载
https://github.com/yanagishima/yanagishima
2.将yanagishima-18.0.zip上传到master的/home/hadoop-jrq/bigdata目录
在这里插入图片描述
3.解压缩yanagishima
unzip yanagishima-18.0.zip
cd yanagishima-18.0
4.进入到yanagishima-18.0/conf文件夹,编写yanagishima.properties配置
vi yanagishima.properties
添加内容

jetty.port=7080
presto.datasources=atiguigu-presto
presto.coordinator.server.atiguigu-presto=http://hadoop102:8881
catalog.atiguigu-presto=hive
schema.atiguigu-presto=default
sql.query.engines=presto

5.yanagishima-18.0路径下启动yanagishima
nohup bin/yanagishima-start.sh >y.log 2>&1 &
6.启动web页面
http://hadoop102:7080
看到界面,进行查询了。
7.查看表结构
在这里插入图片描述
这里有个Tree View,可以查看所有表的结构,包括Schema、表、字段等。

Presto优化之

数据存储方面的优化

1.合理设置分区
与Hive类似,Presto会根据元数据信息读取分区数据,合理的分区能减少Presto数据读取量,提升查询性能。
2.使用列式存储
Presto对ORC文件读取做了特定优化,因此在Hive中创建Presto使用的表时,建议采用ORC格式存储。相对于Parquet,Presto对ORC支持更好。
3.使用压缩
数据压缩可以减少节点间数据传输对IO带宽压力,对于即席查询需要快速解压,建议采用Snappy压缩。

查询SQL优化

1.只选择使用的字段
由于采用列式存储,选择需要的字段可加快字段的读取、减少数据量。避免采用*读取所有字段。
2.过滤条件必须加上分区字段
对于有分区的表,where语句中优先使用分区字段进行过滤。acct_day是分区字段,visit_time是具体访问时间。
3.Group By语句优化
合理安排Group by语句中字段顺序对性能有一定提升。将Group By语句中字段按照每个字段distinct数据多少进行降序排列。
比如:

[GOOD]: SELECT GROUP BY uid, gender

[BAD]:  SELECT GROUP BY gender, uid

4.Order by时使用Limit
Order by需要扫描数据到单个worker节点进行排序,导致单个worker需要大量内存。如果是查询Top N或者Bottom N,使用limit可减少排序计算和内存压力。
5.使用Join语句时将大表放在左边
Presto中join的默认算法是broadcast join,即将join左边的表分割到多个worker,然后将join右边的表数据整个复制一份发送到每个worker进行计算。如果右边的表数据量太大,则可能会报内存溢出错误。

注意事项

1.字段名引用
避免和关键字冲突:MySQL对字段加反引号`、Presto对字段加双引号分割
当然,如果字段名称不是关键字,可以不加这个双引号。
2.时间函数
对于Timestamp,需要进行比较的时候,需要添加Timestamp关键字,而MySQL中对Timestamp可以直接进行比较。

/*MySQL的写法*/
SELECT t FROM a WHERE t > '2017-01-01 00:00:00'; 
/*Presto中的写法*/
SELECT t FROM a WHERE t > timestamp '2017-01-01 00:00:00';

3.不支持INSERT OVERWRITE语法
Presto中不支持insert overwrite语法,只能先delete,然后insert into。
4.PARQUET格式
Presto目前支持Parquet格式,支持查询,但不支持insert。

已标记关键词 清除标记
一、课程简介 随着技术的飞速发展,经过多年的数据积累,各互联网公司已保存了海量的原始数据和各种业务数据,所以数据仓库技术是各大公司目前都需要着重发展投入的技术领域。数据仓库是面向分析的集成化数据环境,为企业所有决策制定过程,提供系统数据支持的战略集合。通过对数据仓库中数据的分析,可以帮助企业改进业务流程、控制成本、提高产品质量等。 二、课程内容 本次精心打造的数仓项目的课程,从项目架构的搭建,到数据采集模块的设计、数仓架构的设计、实战需求实现、即席查询的实现,我们针对国内目前广泛使用的Apache原生框架和CDH版本框架进行了分别介绍,Apache原生框架介绍中涉及到的技术框架包括Flume、Kafka、Sqoop、MySql、HDFS、Hive、Tez、Spark、Presto、Druid等,CDH版本框架讲解包括CM的安装部署、Hadoop、Zookeeper、Hive、Flume、Kafka、Oozie、Impala、HUE、Kudu、Spark的安装配置,透彻了解不同版本框架的区别联系,将大数据全生态系统前沿技术一网打尽。在过程中对大数据生态体系进行了系统的讲解,对实际企业数仓项目中可能涉及到的技术点都进行了深入的讲解和探讨。同时穿插了大量数仓基础理论知识,让你在掌握实战经验的同时能够打下坚实的理论基础。 三、课程目标 本课程以国内电商巨头实际业务应用场景为依托,对电商数仓的常见实战指标以及难点实战指标进行了详尽讲解,具体指标包括:每日、周、月活跃设备明细,留存用户比例,沉默用户、回流用户、流失用户统计,最近连续3周活跃用户统计,最近7天内连续3天活跃用户统计,GMV成交总额分析,转化率及漏斗分析,品牌复购率分析、订单表拉链表的设计等,让学生拥有更直观全面的实战经验。通过对本课程的学习,对数仓项目可以建立起清晰明确的概念,系统全面的掌握各项数仓项目技术,轻松应对各种数仓难题。 四、课程亮点 本课程结合国内多家企业实际项目经验,特别加入了项目架构模块,从集群规模的确定到框架版本选型以及服务器选型,手把手教你从零开始搭建大数据集群。并且总结大量项目实战中会遇到的问题,针对各个技术框架,均有调优实战经验,具体包括:常用Linux运维命令、Hadoop集群调优、Flume组件选型及性能优化、Kafka集群规模确认及关键参数调优。通过这部分学习,助学生迅速成长,获取前沿技术经验,从容解决实战问题。
相关推荐
©️2020 CSDN 皮肤主题: 技术工厂 设计师:CSDN官方博客 返回首页