presto
文章平均质量分 94
presto技术源码解读
爱学大树锯
深耕大数据技术与开发,熟悉Java、scala、python
展开
-
presto-Hive connector storage caching
Hive连接器存储缓存对于Trino,使用Hive连接器查询对象存储是一个非常常见的用例。它通常涉及大量数据的传输。这些对象是由多个工作程序从HDFS或任何其他受支持的对象存储中检索的,并在这些工作程序上进行处理。具有不同参数的重复查询,或者甚至来自不同用户的不同查询,经常访问并因此传输相同的对象。好处启用缓存可以带来很多好处:减少对象存储的负载每个检索和缓存的对象都避免在后续查询中从存储重复检索。结果,对象存储系统不必一次又一次地提供对象。例如,如果您的查询从存储访问100MB的对原创 2021-03-05 23:03:47 · 689 阅读 · 1 评论 -
Presto(Trino)动态过滤与优化器
动态过滤动态筛选优化通过避免读取将被联接条件过滤的数据,从而显着提高了具有选择性联接的查询的性能。考虑以下查询,该查询捕获事实表store_sales与过滤后的维度表date_dim结合的常见模式:从store_sales联接date_dim中选择count(*)ON store_sales.ss_sold_date_sk = date_dim.d_date_sk WHERE d_following_holiday ='Y’AND d_year = 2000;如果没有动态过滤,Trino会将维表的谓原创 2021-03-03 18:34:26 · 3375 阅读 · 2 评论 -
《Presto系列文章-CHAPTER 4 Presto Architecture》
Presto(暂译:普雷斯托)系列文章目录-CHAPTER 4 Presto Architecture文章目录Presto(暂译:普雷斯托)系列文章目录-CHAPTER 4 Presto Architecture前言CHAPTER 4 Chapter 4: Presto Architecture集群中的协调节点和工作节点协调节点发现服务workers体系结构SPICatalogs, Schemas, and Tables目录,架构和表查询执行模型Query PlanningParsing and An原创 2021-03-02 22:21:46 · 1158 阅读 · 0 评论 -
《Presto(Trino)——The Definitive Guide》CHAPTER 6 Connectors Advanced CHAPTER 7 Connector Examples
Presto(暂译:普雷斯托)系列文章目录-CHAPTER 6 ConnectorsThis book provides a great introduction to Presto and teaches you everythingyou need to know to start your successful usage of Presto.—Dain Sundstrom and David Phillips, Creators of the PrestoProjects and Found原创 2021-03-01 23:52:46 · 743 阅读 · 0 评论 -
2020-12-18
今天原创 2020-12-18 23:59:52 · 108 阅读 · 2 评论 -
2020-12-19《实习第三周重要总结》
一周回顾:工作上:完成openLooKeng的 安装测试任务,包括跨源跨数据中心的测试,基本对文档内容由所熟悉。但对源码部分设计内容较少,对SQL语言的理解和Java源码构建,准备看的书很多,重点《Java核心技术》《presto技术内幕》《SQL基础教程》学习上:主要是针对面试的面经,需要重点梳理,本周没有做相关复习,只复习了一次时间都用来?习惯养成:刷题打卡基本成了应付,没多少时间投入,春招很危险生活上:生活基本熬夜两点,上周连续三天睡在公司,这周间接睡三天学习内容:提示:这里可以添加要学原创 2020-12-19 23:48:36 · 218 阅读 · 2 评论 -
2020-12-17《openLooKeng性能优化赛题》
openLooKeng性能优化赛题指导书本教程只作为openLooKeng性能优化赛题单机测试环境Hive+Hadoop+MySQL+openLooKeng运行TPC-DS参考教程,如有任何使用问题,欢迎在openLooKeng比赛群,openLooKeng用户交流微信群以及openLooKengslack频道中提问和交流。1 环境及安装包信息 系统 推荐使用CentOS Linux release 7.6(查看命令cat /etc/centos-releas)64位(查看命令uname.原创 2020-12-17 22:02:20 · 1040 阅读 · 0 评论 -
《SQL训练营——基于Presto的华为开源组建openLookeng的SQL语法》
《基于Presto的华为开源查询组件openLookeng的SQL语法》看这里—>>>学习官网0.简介:openLooKeng是一款开源的高性能数据虚拟化引擎,提供统一SQL接口,为大数据用户提供极简的数据分析体验,让用户像使用“数据库”一样使用“大数据”。因此,openLooKeng极致性能是十分重要的一个维度,也是openLooKeng社区一直以来所追求的目标。1.优点:极简数据分析体验统一的SQL接口访问多种数据源,支持跨数据中心、跨云数据源分析灵活、易扩展可以通过.原创 2020-12-15 23:52:50 · 998 阅读 · 0 评论 -
2020-12-03《Presto分布式SQL查询引擎——kkb笔记复习》
Presto分布式SQL查询引擎一、课前准备 jdk版本要求:Java 8 Update 151 or higher (8u151+), 64-bit 安装好hadoop集群 安装好hive 二、课堂主题 介绍presto presto架构 prsto安装部署 presto使用 三、课堂目标 理解presto 独立完成presto安装部署 使用presto 四、知识要点1. Presto是什么?.原创 2020-12-03 22:54:31 · 991 阅读 · 0 评论