【大数据入门核心技术-Spark】(二十)Spark SQL数据抽象Spark SQL 与 Presto SQL 对比

本文对比了Spark SQL和Presto SQL在大数据分析中的差异,包括功能、语法和使用场景。Presto适合BI查询,Spark SQL在大规模分析时性能更优。两者在日期函数、JSON处理等方面存在不同,且Presto配置相对简单。
摘要由CSDN通过智能技术生成

一、Spark SQL 与 Presto 之间的差异


Presto 简单来说就是“SQL 查询引擎”,最初是为Apache Hadoop开发的。它是一个开源分布式 SQL 查询引擎,旨在针对各种规模的数据集运行交互式分析查询。

Spark SQL 是一种分布式内存计算引擎,在结构化和半结构化数据集之上有一个 SQL 层。由于它在内存中处理,因此在 Spark SQL 中处理速度会很快。

二、 Spark SQL 和 Presto 对比


三、SparkSQL/PrestoSQL 语法差异
id    Spark SQL    Presto SQL    差异
1    date_add(start_date, num_days)    date_add(unit, value, timestamp)
unit = second,minute,hour,day,week,month,quarter,year    1)函数入参不一样
2    datediff(endDate, startDate)
SELECT datediff('2009-07-31', '2009-07-30');    date_diff(unit, timestamp1, timestamp2)
unit = second,minute,hour,day,week,month,quarter,year
Returns timestamp2 - timestamp1 exp

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

forest_long

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值