![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
presto
大数据面壁者
大数据相关知识分享,框架底层原理机制,生产学习中遇到的相关问题分享,共同学习,共同进步。
展开
-
Presto使用注意事项
Presto使用注意事项1. 字段名引用避免和关键字冲突:MySQL对字段加反引号`、Presto对字段加双引号分割当然,如果字段名称不是关键字,可以不加这个双引号。2. 时间函数对于Timestamp,需要进行比较的时候,需要添加Timestamp关键字,而MySQL中对Timestamp可以直接进行比较。/*MySQL的写法*/ SELECT t FROM a WHERE t > '2017-01-01 00:00:00'; /*Presto中的写法*/ SELECT原创 2021-01-17 19:53:17 · 1638 阅读 · 0 评论 -
Presto优化之查询SQL
Presto优化之查询SQL1. 只选择使用的字段由于采用列式存储,选择需要的字段可加快字段的读取、减少数据量。避免采用*读取所有字段。[GOOD]: SELECT time, user, host FROM tbl[BAD]: SELECT * FROM tbl2. 过滤条件必须加上分区字段对于有分区的表,where语句中优先使用分区字段进行过滤。acct_day是分区字段,visit_time是具体访问时间。[GOOD]: SELECT time, user, host FR原创 2021-01-17 19:49:38 · 703 阅读 · 0 评论 -
Presto优化之数据存储
Presto优化之数据存储1. 合理设置分区与Hive类似,Presto会根据元数据信息读取分区数据,合理的分区能减少Presto数据读取量,提升查询性能。2. 使用列式存储Presto对ORC文件读取做了特定优化,因此在Hive中创建Presto使用的表时,建议采用ORC格式存储。相对于Parquet,Presto对ORC支持更好。3. 使用压缩数据压缩可以减少节点间数据传输对IO带宽压力,对于即席查询需要快速解压,建议采用Snappy压缩。...原创 2021-01-17 19:00:31 · 564 阅读 · 0 评论 -
Hadoop生态圈之即席查询工具Presto
一、Presto概念presto是一个开源的分布式sql查询引擎,数据量支持GB到PB字节,主要用来处理秒级查询场景。注意:虽然presto可以解析SQL,但他不是一个标准的数据库。不是mysql,oracle的替代品,也不能用来处理在线事务(OLTP),同时presto用的是一套自己的SQL语言,程序员的学习成本高,所以市场占有率并不高。二、Presto架构presto由一个coordinator和多个worker组成。三、Presto优缺点1)优点(1)presto基于内存运算,减原创 2021-01-17 18:23:59 · 1288 阅读 · 1 评论