presto源码学习
文章平均质量分 70
小黄鸭and小黑鸭
小黄鸭的快乐生活 嘻嘻(●'◡'●)
展开
-
presto查询优化
资料:https://www.jianshu.com/p/f435ce79c966数据存储优化合理设置分区与Hive类似,Presto会根据元信息读取分区数据,合理的分区能减少Presto数据读取量,提升查询性能。使用列式存储Presto对ORC文件读取做了特定优化,因此在Hive中创建Presto使用的表时,建议采用ORC格式存储。相对于Parquet,Presto对ORC支持更好。使用压缩数据压缩可以减少节点间数据传输对IO带宽压力,对于即席查询需要快速解压,建议采用snapp转载 2021-04-20 15:40:07 · 834 阅读 · 0 评论 -
presto源码学习2——RESTFul服务
presto源码学习2——RESTFul服务presto集群中的数据传输、节点通信、计算调度和监控等都是通过接口间的互相调用来实现的。其中,主要的的查询相关的接口有Statement、Query、Stage、Task这几类,都位于presto-main模块中Statement接口接口概览Statement接口在QueuedStatementResource和ExecutingStatementResource类中声明QueuedStatementResource中有以下几个操作接口POST原创 2021-04-20 15:34:53 · 800 阅读 · 0 评论 -
presto查询是否下压测试
presto查询是否下压测试1、join场景select * from mysql.user_sys.sys_users a left join mysql.user_sys.sys_users_roles b on a.id = b.user_id;没有下压查询,分成以下两个查询从mysql获取数据SELECT `id`, `user_id`, `role_id`, `create_time`, `modify_time` FROM `user_sys`.`sys_users_roles原创 2021-04-20 15:20:35 · 335 阅读 · 0 评论 -
presto源码学习1——Presto概述
presto源码学习1——Presto概述presto是基于Java语言开发的一个用来即席查询大数据的查询引擎,是facebook公司的一个开源产品相关文档git地址:https://gitee.com/mirrors/presto.git官方文档presto的特点特点说明多数据源presto目前支持包括mysql、hive等多种常用存储扩展性presto支持开发者自定义开发可插拔式的数据源插件混合计算presto支持同一个集群接入多个同一种存储组件原创 2020-10-17 20:08:54 · 1347 阅读 · 1 评论