presto和mysql对比

最新推荐文章于 2024-05-13 04:22:22 发布
最新推荐文章于 2024-05-13 04:22:22 发布
阅读量2.4k 收藏 4
点赞数 2
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33283652/article/details/112968629
版权

一、概述

官网：https://prestodb.io/

国内京东官网：https://prestodb.jd.com/

 

Presto是由Facebook开发的一个分布式SQL查询引擎， 它被设计为用来专门进行高速、实时的数据分析。

它的产生是为了解决Hive的MapReduce模型太慢以及不能通过BI或Dashboards直接展现HDFS数据等问题。

Presto是一个纯粹的计算引擎，它不存储数据，其通过Connector获取第三方Storage服务的数据。

 

二、详细介绍

1.架构

  • Master-Slave架构
  • 三个模块
    • Coordinator、Discovery Service、Worker
  • Connector

Presto沿用了通用的Master-Slave架构，Coordinator即Presto的Master，Worker即其Slave，Discovery Service就是用来保存Worker结点信息的，通过HTTP协议通信，而Connector用于获取第三方存储的Metadata及原始数据等。

Coordinator负责解析SQL语句，生成执行计划，分发执行任务给Worker节点执行；Worker节点负责实际执行查询任务。Worker节点启动后向Discovery Server服务注册，Coordinator从Discovery Server获得可以正常工作的Worker节点。假如配置了Hive Connector，需要配置一个Hive MetaStore服务为Presto提供Hive元信息，Worker节点与HDFS交互读取数据。

 

2.查询流程

  • Client使用HTTP协议发送一个query请求。
  • 通过Discovery Server发现可用的Server。
  • Coordinator构建查询计划（Connector插件提供Metadata）
  • Coordinator向workers发送任务
  • Worker通过Connector插件读取数据
  • Worker在内存里执行任务（Worker是纯内存型计算引擎）
  • Worker将数据返回给Coordinator，之后再Response Client

3.优缺点

优点：

  • Ad-hoc，期望查询时间秒级或几分钟
  • 比Hive快10倍
  • 支持多数据源，如Hive、Kafka、MySQL、MonogoDB、Redis、JMX等，也可自己实现Connector
  • Client Protocol: HTTP+JSON, support various languages(Python, Ruby, PHP, Node.js Java)
  • 支持JDBC/ODBC连接r
  • ANSI SQL，支持窗口函数，join，聚合，复杂查询等

缺点：

  • No fault tolerance；当一个Query分发到多个Worker去执行时，当有一个Worker因为各种原因查询失败，那么Master会感知到，整个Query也就查询失败了，而Presto并没有重试机制，所以需要用户方实现重试机制。
  • Memory Limitations for aggregations, huge joins；比如多表join需要很大的内存，由于Presto是纯内存计算，所以当内存不够时，Presto并不会将结果dump到磁盘上，所以查询也就失败了，但最新版本的Presto已支持写磁盘操作，这个待后续测试和调研。
  • MPP(Massively Parallel Processing )架构；这个并不能说其是一个缺点，因为MPP架构就是解决大量数据分析而产生的，但是其缺点也很明显，假如我们访问的是Hive数据源，如果其中一台Worker由于load问题，数据处理很慢，那么整个查询都会受到影响，因为上游需要等待上游结果。

三、mysql与presto语句比较

数据量

mysql 语句

mysql执行时间

presto语句

presto执行时间 

22131166SELECT count(*) FROM 表 （索引）3.226 sSELECT count(*) FROM 表 （索引）

1.91 s+3.705 s

计算耗时 + 读耗时

173655288SELECT count(*) FROM 表 （无索引）1 m 39 sSELECT count(*) FROM 表 （无索引）1.93 s +2 m 13 s
22131166

SELECT a.s, a.c
, concat(round(if(a.c = 0, 0, a.s * 100 / a.c), 2), '%')
FROM (
SELECT SUM(visit_type NOT IN ('***', '***')) AS s, COUNT(*) AS c
FROM  表
) a

10.715s

with a as (
select COUNT(*) AS num
FROM 表
),
b as (
select COUNT(*) AS num
FROM 表
where visit_type not in ('***', '***')
)
select a.num,b.num
from a,b

1.151 s +22.638 s
591842

SELECT filter.name, filter.num
, concat(round(if(total.num = 0, 0, filter.num / total.num), 2), '%')
FROM (
SELECT COUNT(*) AS num
FROM 表
WHERE 条件
) total, (
SELECT image_modality AS name, COUNT(*) AS num
FROM 表
WHERE 条件
GROUP BY image_modality
ORDER BY COUNT(*) DESC
LIMIT 20
) filter

876 ms

WITH a AS (
SELECT COUNT(*) AS num
FROM mysql2."46300194x_normaldb_1.3.1_lung_clean".image_record
WHERE 条件
),
b AS (
SELECT image_modality AS name, COUNT(*) AS num
FROM 表
WHERE条件
GROUP BY image_modality
ORDER BY COUNT(*) DESC
LIMIT 20
)
SELECT a.num, b.num, b.name
FROM a, b

1.154 s +321 ms
629022

SELECT keyword_count.keyword, keyword_count.row_count
, concat(round(if(total_count.row_count = 0, 0, keyword_count.row_count * 100 / total_count.row_count), 2), '%')
, keyword_count.patient_count
, concat(round(if(total_count.patient_count = 0, 0, keyword_count.patient_count * 100 / total_count.patient_count), 2), '%')
FROM (
SELECT '毒物' AS keyword, COUNT(*) AS row_count, COUNT(DISTINCT patient_id) AS patient_count
FROM 表
WHERE 字段 LIKE '%毒物%'
UNION
SELECT '射线' AS keyword, COUNT(*) AS row_count, COUNT(DISTINCT patient_id) AS patient_count
FROM 表
WHERE 字段 LIKE '%射线%'
UNION
SELECT '吸烟' AS keyword, COUNT(*) AS row_count, COUNT(DISTINCT patient_id) AS patient_count
FROM 表
WHERE 字段 LIKE '%吸烟%'
UNION
SELECT '过敏' AS keyword, COUNT(*) AS row_count, COUNT(DISTINCT patient_id) AS patient_count
FROM 表
WHERE 字段 LIKE '%过敏%'
UNION
SELECT '手术' AS keyword, COUNT(*) AS row_count, COUNT(DISTINCT patient_id) AS patient_count
FROM 表
WHERE 字段 LIKE '%手术%'
UNION
SELECT '外伤' AS keyword, COUNT(*) AS row_count, COUNT(DISTINCT patient_id) AS patient_count
FROM 表
WHERE 字段 LIKE '%外伤%'
)keyword_count, (
SELECT COUNT(*) AS row_count, COUNT(DISTINCT patient_id) AS patient_count
FROM 表
WHERE 1 = 1
) total_count

16.566 s

WITH keyword_count AS (
SELECT '毒物' AS keyword, COUNT(*) AS row_count, COUNT(DISTINCT patient_id) AS patient_count
FROM 表
WHERE 字段 LIKE '%毒物%'
UNION
SELECT '射线' AS keyword, COUNT(*) AS row_count, COUNT(DISTINCT patient_id) AS patient_count
FROM 表
WHERE 字段 LIKE '%射线%'
UNION
SELECT '吸烟' AS keyword, COUNT(*) AS row_count, COUNT(DISTINCT patient_id) AS patient_count
FROM 表
WHERE 字段 LIKE '%吸烟%'
UNION
SELECT '过敏' AS keyword, COUNT(*) AS row_count, COUNT(DISTINCT patient_id) AS patient_count
FROM 表
WHERE 字段 LIKE '%过敏%'
UNION
SELECT '手术' AS keyword, COUNT(*) AS row_count, COUNT(DISTINCT patient_id) AS patient_count
FROM 表
WHERE 字段 LIKE '%手术%'
UNION
SELECT '外伤' AS keyword, COUNT(*) AS row_count, COUNT(DISTINCT patient_id) AS patient_count
FROM 表
WHERE 字段 LIKE '%外伤%'
),
total_count AS (
SELECT COUNT(*) AS row_count, COUNT(DISTINCT patient_id) AS patient_count
FROM 表
WHERE 1 = 1
)
SELECT keyword_count.keyword, keyword_count.row_count, keyword_count.patient_count
FROM keyword_count

1.531 s +2.852 s

总结：

  • presto相比mysql，更适合复杂的SQL计算
  • presto每次执行时都会先读取再计算，因此简单计算会比直接使用mysql要慢

四、基于mysql 和hive 的presto sql性能对比

presto语句

mysql 数据量

mysql耗时

hive数据量

hive耗时

select count(*) from 表

221311661.294 s + 3.414 s1636127111.88 s + 303 ms
SELECT count(*) FROM 表 where 条件17365528812.907 s + 3 m 8 s1142798241.349 s + 3 ms
WITH keyword_count AS (
SELECT '毒物' AS keyword, COUNT(*) AS row_count, COUNT(DISTINCT patient_id) AS patient_count
FROM 表
WHERE 字段 LIKE '%毒物%'
UNION
SELECT '射线' AS keyword, COUNT(*) AS row_count, COUNT(DISTINCT patient_id) AS patient_count
FROM 表
WHERE 字段 LIKE '%射线%'
UNION
SELECT '吸烟' AS keyword, COUNT(*) AS row_count, COUNT(DISTINCT patient_id) AS patient_count
FROM 表
WHERE 字段 LIKE '%吸烟%'
UNION
SELECT '过敏' AS keyword, COUNT(*) AS row_count, COUNT(DISTINCT patient_id) AS patient_count
FROM 表
WHERE 字段 LIKE '%过敏%'
UNION
SELECT '手术' AS keyword, COUNT(*) AS row_count, COUNT(DISTINCT patient_id) AS patient_count
FROM 表
WHERE 字段 LIKE '%手术%'
UNION
SELECT '外伤' AS keyword, COUNT(*) AS row_count, COUNT(DISTINCT patient_id) AS patient_count
FROM 表
WHERE 字段 LIKE '%外伤%'
),
total_count AS (
SELECT COUNT(*) AS row_count, COUNT(DISTINCT patient_id) AS patient_count
FROM 表
WHERE 1 = 1
)
SELECT keyword_count.keyword, keyword_count.row_count, keyword_count.patient_count
FROM keyword_count		6290221.510 s + 2.978 s26270481.141 s +142 ms

 

总结：

  • hive比mysql在执行和查询上都要快很多

五、问题积累

1.presto 在执行时是分批处理还是一次性读完数据在处理？

presto自身是支持批处理的，但是mysql connect不支持，所以操作mysql是一次性读完再处理，hive是分批处理

 

2.为什么presto查hive比查mysql 快得多

处理hive时会分批读取及处理，处理mysql只能一次性先读完再处理

 

3.为什么一个presto sql 会被拆成多个相同的 mysql sql

presto拆分子查询后不会再合并下推的sql语句

在知识的海洋中遨游
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
presto查询mysql原理_presto原理
weixin_36151775的博客
01-30 716
presto:https://blog.csdn.net/u011596455/article/details/86558218部署:https://blog.csdn.net/weixin_33701564/article/details/91894251ＥＭＲ：https://help.aliyun.com/document_detail/64035.html?spm=a2c4g.111866...
SQL、MySQL、Hive&Presto的使用区别ing
Angelosyue
07-01 2260
SQL、MySQL与HiveSQL的使用区别ing
如何安装Presto以及基于Presto实现Mysql跨库数据查询，详细实现步骤
weixin_40648256的博客
05-09 859
1. 下载 Presto Server 包2. 解压缩3. 配置 Presto Servera. 进入 Presto Server 目录b. 创建配置文件c. 修改配置文件4. 启动 Presto Server5. 验证 Presto Server 是否启动成功a. 打开 Presto Web UI在浏览器中打开。b. 执行查询如果查询成功，说明 Presto Server 安装成功。
Presto【实践 01】Presto查询性能优化（数据存储+SQL优化+无缝替换Hive表
m0_60452141的博客
05-13 835
还有兄弟不知道网络安全面试可以提前刷题吗？费时一周整理的160+网络安全面试题，金九银十，做网络安全面试里的显眼包！王岚嵚工程师面试题（附答案），只能帮兄弟们到这儿了！如果你能答对70%，找一个安全工作，问题不大。对于有1-3年工作经验，想要跳槽的朋友来说，也是很好的温习资料！【完整版领取方式在文末！！内容实在太多，不一一截图了。
presto sql 与mysql sql 对比.pdf
08-08
presto sql 与mysql sql 对比.pdf
最新版本！亲测有效！presto_0.280安装部署(包含连接Hive、MySQL)
qq_41289546的博客
04-07 994
node.id：每个Presto节点的唯一标识，每个节点的node.id都必须是唯一的。如果在一个节点上安装多个Presto实例(例如：在同一台机器上安装多个Presto节点)，那么每个Presto节点必须拥有唯一的node.id。node.enviroment：集群名称，所有在同一个集群中的Presto节点必须拥有相同的集群名称，这个名字就是控制台右上角展示的enviroment。node.data-dir：数据存储目录的位置(操作系统上的路径)，Presto将会把日期和数据存储在这个目录下。
presto配置mysql连接（亲测好用）
song_quan_的博客
12-22 2031
准备 准备两台机器，机器名为 bd1 和 bd2，，并且在这两个节点上安装 hadoop，hive，并且准备一个mysql数据库。 bd1 - coordinator节点 bd2 - worker节点 安装 presto server wget -c https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.211/presto-server-0.211.tar.gz tar zxvf presto-server-0.211.ta
presto 查询mysql_Presto连接MySQL
weixin_32058991的博客
01-19 855
准备两台机器，机器名为 bd1 和 bd2，，并且在这两个节点上安装 hadoop，hive，并且准备一个 mysql 数据库。bd1 - coordinator节点bd2 - worker节点安装 presto serverwget -c https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.211/presto-s...
hive 和 presto sql的对比
04-21
以下是对这两者在常见函数使用、陷阱和特定功能上的对比： 1. **NOT IN**： Hive允许在`NOT IN`子句中直接使用空值，而Presto需要显式处理空值，如示例所示，需要使用`COALESCE`函数来避免空值。 2. **日期转换**...
presto和hive的使用区别
11-27
Hive是把一个查询转化成多个MapReduce任务，然后一个接一个执行。...然而，Presto没有使用MapReduce，它是通过一个定制的查询和执行引擎来完成的。它的所有的查询处理是在内存中，这也是它的性能很高的一个主要原因。
深入理解Presto
02-24
Presto是一个facebook开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。presto的架构由关系型数据库的架构演化而来。presto之所以能在各个内存计算型数据库中脱颖而出，在于以下几点：清晰的...
Presto_ODBC.rar
09-10
Presto ODBC.rar 是一个压缩包，其中包含了与Presto数据查询引擎相关的ODBC（Open Database Connectivity）驱动程序，适用于32位和64位操作系统。ODBC是一种标准的数据库访问接口，允许应用程序通过统一的方式与各种...
datax支持presto读取
12-07
1、说明：datax支持presto读取，datax规范开发插件，读取presto中数据，可以在presto中配置mysql、postgresql、es、hive等数据库的连接，通过datax执行关联查询，数据存入新的库 2、插件更新：解压文件 prestoreader...
Presto跨数据源分析.docx
最新发布
07-24
一、Presto概述 1、Presto简介 2、Presto架构 二、Presto安装 1、安装包管理 2、配置管理 3、运行服务 三、客户端安装 1、Jar包管理 2、连接MySQL
presto-oracle
04-01
rm plugin/oracle/presto-mysql* mv /home/Downloads/presto-oracle*.jar plugin/oracle Building Presto Oracle JDBC Plugin mvn clean install Building Oracle Driver Oracle Driver is not available in common ...
presto客户端
07-20
presto统一数据访问网关，可以通过一个客户端访问不同类型的数据库，支持oracle、mysql、postgresql、hive、hbase等，代码开源，支持自己开发数据库连接器
Presto全攻略-部署+ES和MySQL集成+Spring Boot集成使用+分页查询+SQL性能优化
影子是时光的心
11-06 5552
Presto使用说明 一、Presto介绍 1.1 Presto 官方文档地址 https://prestodb.io/docs/0.255/index.html 注：此为 Presto-0.255 版本官方文档，若想参考其它版本，将“255”换成对应的版本号即可。 1.2 Presto 架构示意 1.2.1 Presto采用典型的master-slave模型： coordinator(master)负责meta管理,worker管理，query的解析和调度； worker则负责计算和读写； disc
Go-面向对象编程详解（封装、继承、多态等）_go封装多态什么意思(4)
m0_60691292的博客
05-07 885
还有兄弟不知道网络安全面试可以提前刷题吗？费时一周整理的160+网络安全面试题，金九银十，做网络安全面试里的显眼包！王岚嵚工程师面试题（附答案），只能帮兄弟们到这儿了！如果你能答对70%，找一个安全工作，问题不大。对于有1-3年工作经验，想要跳槽的朋友来说，也是很好的温习资料！【完整版领取方式在文末！！内容实在太多，不一一截图了。
presto查询mysql_Presto查询优化
weixin_36059638的博客
01-28 812
我的CSDN: http://blog.csdn.net/FreeFishLy/article/details/79081764Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。查询语言是类ANSI SQL语句。笔者在多个项目中用到Presto做即席查询，总结了一些优化措施。一、数据存储合理设置分区与Hive类似，Presto会根据元信息读取分区数据，合...
clickhouse和presto对比
03-16
Presto是一种分布式SQL查询引擎，可以查询多个数据源，包括Hadoop、Hive、MySQL、PostgreSQL等。它可以在不同的数据源之间进行联合查询，并支持复杂的分析操作。Presto的优点是灵活性高、可扩展性好、支持多种数据源...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值