Presto介绍与常用查询优化方法

最新推荐文章于 2024-07-02 18:00:00 发布
最新推荐文章于 2024-07-02 18:00:00 发布
阅读量1.2k 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/beyond59241/article/details/84848196
版权
本文介绍了Presto，一个针对大数据的低延迟查询引擎，性能优于Hive。Presto采用Master-Slave架构，通过内存计算、流水线等优化实现高速查询。文章分享了Presto的查询优化策略，包括数据存储、SQL优化和与Impala的对比，如合理设置分区、使用ORC格式、限制字段选择等，旨在提升查询性能。
摘要由CSDN通过智能技术生成

Presto

Hive使用MapReduce作为底层计算框架，是专为批处理设计的。但随着数据越来越多，使用Hive进行一个简单的数据查询可能要花费几分到几小时，显然不能满足交互式查询的需求。

2012年秋季开始开发，目前该项目已经在超过 1000名Facebook雇员中使用，运行超过30000个查询，每日数据在1PB级别。Facebook称Presto的性能比Hive要好上10倍多。2013年Facebook正式宣布开源Presto。

Presto架构

5401760-417956202202e389.png
image.png

Presto查询引擎是一个Master-Slave的架构，由一个Coordinator节点，一个Discovery Server节点，多个Worker节点组成，Discovery Server通常内嵌于Coordinator节点中。

Coordinator负责解析SQL语句，生成执行计划，分发执行任务给Worker节点执行。

Worker节点负责实际执行查询任务。Worker节点启动后向Discove

最低0.47元/天 解锁文章
高广超
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Presto分页
qq_33321351的博客
10-13 1908
Presto分页前言一、Presto是什么？二、分页总结 前言 环境：jdk8,presto 338,mybatis-plus 3.3.1 <dependency> <groupId>io.prestosql</groupId> <artifactId>presto-jdbc</artifactId> <version>338</version> </dependency> 注意事项：
presto-SQL
河南骏的博客
09-17 1418
今日在presto里面查询SQL,需要模糊匹配带百分号的字符，写法查到的是mysql的写法 product_name like '%/%%' escape '/' 后面再需要从字符中抽取出带百分号的数字， regexp_extract(product_name, '\d+%') 最后再提取出带百分号前面的数字 regexp_extract(regexp_extract(product_name, '\d+%')) ...
深入理解Presto分页查询：方法与最佳实践
fudaihb的博客
07-02 2069
Presto是一款分布式SQL查询引擎，专为大数据分析而设计。它支持从多个数据源（如Hive、Cassandra、Kafka、MySQL等）查询数据，具有高性能、低延迟的特点。高性能：Presto通过并行执行查询和高效的内存管理来提供高性能的查询。扩展性：可以轻松扩展集群以处理更大的数据集和更高的查询负载。多数据源支持：能够从多个数据源中同时查询数据，支持丰富的数据格式。在Presto中实现分页查询是一个常见且重要的需求。通过本文的介绍，读者可以全面了解分页查询的基本概念、实现方法和性能优化技巧。
Presto【付诸实践 01】Presto查询性能优化（数据存储+SQL优化+无缝替换Hive表+注意事项）及9个实践问题分享
シ風
12-14 3402
Presto查询性能优化（数据存储+SQL优化+无缝替换Hive表+注意事项）及9个实践问题分享
模糊查询LIKE和正则RLIKE，REGEXP
weixin_63058507的博客
12-19 4173
模糊查询LIKE和正则RLIKE，REGEXP
Presto时间日常处理：
weixin_45606857的博客
01-06 2670
--获取指定时间的上一个月份 select substr((date_format((cast(date(cast('2021-12-23 23:59:59' as timestamp)) - interval '1' month as timestamp)),'%Y-%m-%d')),1,7) --获取当前时间的上一个月份： select substr((date_format((cast(current_date - interval '1' month as timestamp)),'%Y-
数据湖+数据访问与查询优化教程
07-11
### 数据湖+数据访问与查询优化教程 #### 一、数据湖的概念与架构 数据湖是一种先进的数据存储架构，能够存储海量的原始数据，这些数据既可以是结构化的也可以是非结构化的，甚至半结构化的形式。数据湖的核心设计...
10-5+Presto+在+FreeWheel+广告平台下的实践与优化.zip
03-18
标题中的“10-5+Presto+在+FreeWheel+广告平台下的实践与优化”揭示了这次讨论的主题，即Presto数据库查询引擎在FreeWheel广告平台的实际应用及性能提升策略。FreeWheel是一家领先的广告管理解决方案提供商，而...
数据湖+运维与监控技术教程
最新发布
07-11
- **数据访问**：数据湖提供更为灵活的数据访问方式，而数据仓库则提供更优化的查询性能。 ### 四、数据湖的运维与监控 **4.1 数据湖的部署与配置** 部署数据湖时，需要考虑多个方面，首先是选择合适的存储系统。...
WEB应用的架构与开发.pptx
09-18
WEB应用的架构与开发是一个广泛的领域，涵盖了许多关键技术和概念。让我们逐一深入探讨。 首先，我们来理解什么是WEB。WEB是由HTML（超文本标记语言）、HTTP（超文本传输协议）和URL（统一资源定位符）三者组成的，...
presto和hive的使用区别
11-27
Hive是把一个查询转化成多个MapReduce任务，然后一个接一个执行。执行的中间结果通过对磁盘的读写来同步。然而，Presto没有使用MapReduce，它是通过一个定制的查询和执行引擎来完成的。它的所有的查询处理是在内存中，这也是它的性能很高的一个主要原因。
trino分页 presto分页
yy的博客
03-12 2424
概述 prestosql后来更名为trino trino后来支持了 offset 语句对比 旧版写法: explain analyze SELECT * FROM (SELECT ROW_NUMBER() over(order by age) as Row, * FROM db1.tb1 ) T WHERE T.Row BETWEEN 100 AND 120...
Presto查询优化（数据分析）
记录
07-06 2662
用户： 1、大表查询将数据拆分（表数据非实时） （1）如公司内部有人直接上亿甚至几十亿条数据的表（或者几百TB级别的表）直接进行报表制作，这种情况，建议搞个定时任务，每天把要统计的数据放到小表里去，报表制作只查小表。 （2）报表数据来自表某个为json的大字段，用户直接用json解析函数获取，这种情况也建议将字段拆分平铺成一张表在进行解析。 2、Hive表小文件比较多，导致查询慢。把hive表文件合并性能会大大提高。 3、优化sql。 系统： 1、提供缓存设置，诸如T+1的数据，用户可以设
Presto Sql 入门笔记
qq_34819372的博客
04-13 1524
一、查询组织结构（数据库名列表） show schemas; 二、查询表名 # 指定数据库名 show tables from schemas_name; 三、描述表结构 # 查询需要 库名.表名 DESCRIBE schemas_name.table_name; 四、基础查询 #不要模仿*查询 select * FROM schemas_name.table_name limit 1; ...
手撕SQL之Presto查询
默主归沙的博客
03-22 2900
要求：依然使用SQL获取这4个特征：文章字数、图片数量、文章类型、发布时间距离计算时间的时间差。创建表：dwb_news.article_base_info来存储这些特征，我们选择全量的文章的数据。 原表（我的数据是在presto中进行查询的hive表，因为hive底层是mr程序，运行太慢了，还是presto查询速度快一点） select * from ods_news.news_article limit 3; 查询文章字数 Step1：用正则表达式提取文章的中文，然后使用array_
presto函数大全 中文版
热门推荐
ronaldo-liu的博客
04-08 8万+
Functions and Operators 基于Presto 0.215版本的中文注释 函数大全，参考官方文档：https://prestodb.github.io/docs/0.215/functions.html 6.1. 逻辑操作 6.2. 比较函数和运算符 6.3. 条件表达式 6.4. Lambda 表达式 6.5. 转换函数 6.6. 数学函数和运算符 6.7. 位运算函...
Hibernate模糊查询
涂作权的博客
12-17 1万+
和SQL查询一样，Hibernate，HQL使用like关键字进行模糊查询。模糊查询能够比较字符串是否与指定的字符串模式匹配。其中使用通配符表示：如下 %(百分号)：匹配任意类型、任意长度的字符串，中文则需要两个百分号"%%" _(下划线)：匹配单个任意字符，一般用来限制字符串表达式的长度。 下面举例说明： 1.检索姓名以"M"开头的同学：   String queryString="
关于Presto查询语句问题【已解决】
福贵儿的博客
09-01 681
1. 问题描述 最近看到报表后台有个报错，无法定时运行，一直报fail，当时非常着急，这该如何是好，头发都要掉完了，哈哈，开个玩笑。。。。。 2.解决方案 于是就顺藤摸瓜，一点点排错，后来定位到shell文件里面的sql语句，然后将这个语句拿到Presto环境中运行，报如下的错误 根据提示，这个我当时怀疑是 format 日期转化出了问题，于是我就写了一个简单的sql，测试了一下 select parse_datetiem('test','yyyymmd...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值