Presto架构和使用总结

已于 2023-12-28 21:00:10 修改
阅读量708 收藏 1
点赞数
分类专栏： 大数据 文章标签： big data presto
于 2023-01-03 15:55:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lzhcoder/article/details/124636883
版权

目录

Presto概念

Presto架构图

Presto优缺点 

Hive和Presto性能比较

Presto、Impala性能比较

Presto优化之数据存储

Presto优化之查询SQL

1.只选择使用的字段

2.过滤条件必须加上分区字段

3 Group By语句优化

4 Order by时使用Limit

5 使用Join语句时将大表放在左边

注意事项

1. 字段名引用

2 时间函数

3 不支持INSERT OVERWRITE语法

4 PARQUET格式

常见操作API

综合应用实例

Presto概念

Presto是一个开源的分布式SQL查询引擎，数据量支持GB到PB字节，主要用来处理秒级查询的场景。

注意：虽然Presto可以解析SQL，但它不是一个标准的数据库。不是MySQL、Oracle的代替品，也不能用来处理在线事务（OLTP）。

Presto架构图

了解本专栏 订阅专栏 解锁全文 超级会员免费看
数据与算法架构提升之路
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
订阅专栏
presto 基本概念和架构
一蓑烟雨
03-09 1988
Presto是一款Facebook开源的MPP架构的OLAP查询引擎，可针对不同数据源执行大容量数据集的一款分布式SQL执行引擎。因为工作中接触到Presto，研究它对理解SQL Parser、常见算子的实现（如SQL中table scan,join,aggregation）、资源管理与调度、查询优化（如向量化执行、动态代码生成）、大数据下各个组件为何适用不同场景等等都有帮助。我希望通过这个系列可以了解一条SQL在大数据场景下该如何高效执行。233酱准备不定时持续更新这个系列，本文主要从Presto的使用举
Presto架构及原理
01-27
Presto是Facebook推出的一个基于Java开发的大数据分布式 SQL查询引擎，可对从数G到数P的大数据进行交互式的查询，查询的速度达到商业数据仓库的级别，据称该引擎的性能是 Hive的10倍以上。Presto可以查询包括Hive、Cassandra甚至是一些商业的数据存储产品，单个 Presto查询可合并来自多个数据源的数据进行统一分析。Presto的目标是在可期望的响应时间
presto架构和概念介绍
qq_34120015的博客
06-14 4985
Presto简介
01 presto 概述: 特性 优缺点 场景 架构
Pushkin.的博客
02-27 1529
Presto是一款开源的分布式并行计算(MPP)引擎，主要适用于大数据领域GB~PB量级数据源的秒级分析查询场景需求。 - Presto的产生是为了解决MapReduce模型太慢且不能通过BI等工具展现HDFS数据的问题 - Presto是一个计算引擎，它不存储数据，主要通过丰富的Connector,获取第三方的数据，并支持扩展
Presto的介绍、使用和原理架构
迷雾总会解
06-15 6916
Presto是一款Facebook开源的MPP架构的OLAP查询引擎，可针对不同数据源执行大容量数据集的一款分布式SQL执行引擎，数据量支持GB到PB字节，主要用来处理秒级查询的场景。Presto 本身并不存储数据，，但是可以接入多种数据源，并且支持跨数据源的级联查询，而且基于内存运算，速度很快，实时性高。注意：虽然Presto可以解析SQL，但它不是一个标准的数据库。不是MySQL、Oracle的代替品，也不能用来处理在线事务 (OLTP)。适合：PB级海量数据复杂分析，交互式SQL。
Presto
多头注意力探索Now
08-12 118
Facebook开源的大数据分布式SQL查询引擎
Presto 概念 及 架构
禧年
05-18 4385
文章目录:一、概念：1.1 Presto概念1.2 Presto应用场景1.3 Presto的架构组成部分：1.4 Presto 优点：Presto 缺点：二、Presto优化2.1数据存储2.2 查询SQL优化2.3 无缝替换Hive表2.4 建表格式的选择搭建部分不写了就。官网查看。 【转载注明出处，还望尊重原创 】 【作者水平有限，如有错误欢迎指正 .】 一、概念： Presto 是一个开源的分布式SQL查询引擎，数据量支持GB到PB字节，主要用来处理秒级查询的场景。 1.1 Presto概念 P
深入理解Presto(1) : Presto的架构
马云雷的专栏
10-12 8407
简介Presto是一个facebook开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。presto的架构由关系型数据库的架构演化而来。presto之所以能在各个内存计算型数据库中脱颖而出，在于以下几点： 清晰的架构，是一个能够独立运行的系统，不依赖于任何其他外部系统。例如调度，presto自身提供了对集群的监控，可以根据监控信息完成调度。 简单的数据结构，列式存储，逻辑行
presto和hive的使用区别
11-27
Hive是把一个查询转化成多个MapReduce任务，然后一个接一个执行。...然而，Presto没有使用MapReduce，它是通过一个定制的查询和执行引擎来完成的。它的所有的查询处理是在内存中，这也是它的性能很高的一个主要原因。
Presto在Uber的使用
11-14
介绍Presto在Uber(优步)的应用，使得读者可以对Presto更加了解
hive 和 presto sql的对比
04-21
hive 和 presto sql的对比， 常见函数的写法区别和坑点
Presto-数据分析引擎
qq_45661358的博客
08-31 1326
facebook-presto的安装与简单的连接使用
Presto架构及原理、安装及部署
weixin_33701564的博客
01-27 1889
2019独角兽企业重金招聘Python工程师标准>>> ...
Presto简介、部署、原理和使用介绍
最新发布
wt334502157的博客
02-28 2265
​ Presto是由Facebook开发的一款开源的分布式SQL查询引擎，最初于2012年发布，并在2013年成为Apache项目的一部分；Presto 作为现在在企业中流行使用的即席查询框架，已经在不同的领域得到了越来越多的应用。Presto官方网站：https://prestosql.io/​ Presto被广泛用作即席查询引擎，用户可以使用标准的SQL语句向Presto提交查询，并且能够在几秒钟或更短的时间内获取结果。
Presto架构
feizuiku0116的博客
11-05 1433
Presto是一个运行在多台服务器上的分布式系统。 完整安装包括一个coordinator和多个worker。 由客户端提交查询，从Presto命令行CLI提交到coordinator。 coordinator进行解析，分析并执行查询计划，然后分发处理队列到worker。 Presto查询引擎是一个M-S的架构，由一个coordinator节点，一个Discovery Server节点，多个Worker节点组成，Discovery Server通常内嵌在Coordinator节点中。Coordinato.
Presto架构原理
cblock1的博客
08-03 282
Presto是Facebook开源的查询分析引擎，在国内京东用的比较成熟。Presto数据处理能力到达PB级别，支持查询数据源有Hive、Kafka、Cassandra、Redis、Mongodb、SQL server等，在工作应用当中，Presto的查询性能比Hive要高40%以上。...
开年的第一篇文章 - 关于系统开发的一些有用的中间件与工具包汇总
撒忆雨
01-03 825
工具包 HPPC High Performance Primitive Collections https://github.com/carrotsearch/hppc Hutool 一个小而全的Java工具类库 EasyExcel JAVA解析Excel工具EasyExcel https://github.com/alibaba/easyexcel/ pinyin4j https://github.com/belerweb/pinyin4j stream-lib 实时计算工具库 stream-lib
Presto架构+安装
qq_38304392的博客
03-23 327
一、框架概述 presto是一款Facebook开源的MPP架构的OLAP查询引擎，可针对不同数据源执行大容量数据集的一款分布式SQL执行引擎。适用于交互式分析查询，数据量支持GB到PB字节 1.清洗的架构，是一个能够独立运行的系统，不依赖于任何其他外部系统。例如调度，presto自身提供了对集群的监控，可以根据监控信息完成调度 2.简单的数据结构，列式存储，逻辑行，大部分数据都可以轻易的转化成...
presto case when 使用
08-16
当您使用 Presto 的 CASE WHEN 表达式时，可以按照以下格式编写： ```sql SELECT CASE WHEN condition1 THEN result1 WHEN condition2 THEN result2 ... ELSE result END AS alias FROM your_table; ``` 其中： - `condition1`、`condition2`等是您要进行判断的条件。 - `result1`、`result2`等是对应条件为真时的结果。 - `ELSE result` 是当所有条件都不满足时的默认结果。 请确保条件和结果的类型匹配，以免出现错误。如果您能提供具体的查询和报错信息，我可以更详细地帮助您解决问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

数据与算法架构提升之路

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值