【SQL】hive和presto的常规操作（一）

半边诗人

已于 2022-01-30 16:54:01 修改

阅读量1.3k

点赞数 1

分类专栏： SQL 文章标签： hive sql hadoop presto

于 2021-10-29 11:21:58 首次发布

本文链接：https://blog.csdn.net/weixin_44411175/article/details/121021848

版权

本文深入探讨了Hive和Presto在性能表现、字段类型转换、日期格式处理以及URL解析等关键操作上的差异，揭示了两种SQL引擎在大数据处理中的不同特性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文从性能、字段类型转换、日期格式转换、解析url，这4个方面展示他们的区别：

		hive	presto
性能	本质区别	一个查询转化为多个MapReduce后，一个接一个执行。执行中间结果通过磁盘的读写进行同步。	通过一个定制的查询和执行引擎完成，所有查询在内存中完成（这是其性能很高的一个主要原因）
	运行速度	较慢，磁盘上读写	更快，但基于内存的多张表关联操作容易引起内存溢出错误
	适合场景

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

半边诗人

关注关注

1
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

PrestoHive实时数据处理与分析

AI天才研究院

06-08

1156

Presto-Hive实时数据处理与分析 1.背景介绍在当今的数据时代,数据已经成为企业的核心资产之一。随着数据量的快速增长,传统的数据处理和分析方式已经无法满足企业对实时性和高效率的需求。Apache Hive作为基于Hadoop的数据仓库工具,虽然能够处理大量数据,但在查询响应

spark 读取hive分桶表无shuffle join

yy的博客

04-20

694

- 分桶join bucketjoin hive分桶 spark分桶分桶优化分桶join优化。

参与评论您还未登录，请先登录后发表或查看评论

单机安装hadoop+hive+presto

weixin_34220179的博客

06-05

370

系统环境在个人笔记本上使用virtualbox虚拟机 os:centos -7.x86-64.everything.1611 ,内核 3.10.0-514.el7.x86_64 注：同样可以使用rhel7.3来安装。内存:2.5 g，推荐内存4g，否则内存太少，运行得有点慢。安装组件包括： hadoop-2.8.0 apache-hive-2.1.1 presto-s...

presto实现跨数据源查询

最新发布

ww_frozenTear的博客

02-06

775

Presto是由Facebook开发的一款开源的分布式SQL查询引擎，可连接多种数据库如Hive、MySQL、Oracle等，一次查询可合并多个数据库进行跨组织分析。

时间函数-hive与presto的用法说明

yedaqiang的博客

10-14

774

presto和hive的使用区别

11-27

Hive是把一个查询转化成多个MapReduce任务，然后一个接一个执行。执行的中间结果通过对磁盘的读写来同步。然而，Presto没有使用MapReduce，它是通过一个定制的查询和执行引擎来完成的。它的所有的查询处理是在内存中，这也是它的性能很高的一个主要原因。

从指定表中删除指定日期之前的数据, 但保留月末最后一天的数据

weixin_33881140的博客

10-16

1806

从指定表中删除指定日期之前的数据, 但保留月末最后一天的数据。为避免删除时间过长（mysql对每次删除数据的最大量是有限制的，具体多少与数据库配置有关），用limit 400000来限制单表单次最高可删除数据记录数为400,000。 PrepareStatement SQL语句：(假设日期字段名为dateTime，表名为：table_name）： d...

【SQL】hive和presto的常规操作（二）

weixin_44411175的博客

01-29

1562

hive和presto的常规操作-sql语句（二）

mysql语法，hive语法，presto语法区别

05-28

2. 存储格式：HiveSQL和PrestoSQL支持多种存储格式，包括文本、ORC和Parquet等，而MySQL只支持常规的表格存储格式。 3. 性能：HiveSQL和PrestoSQL是为大数据场景而设计的，可以处理PB级别的数据，而MySQL主要用于...

DataGrip连接Presto 详细图文教程

weixin_52918377的博客

06-10

1932

DataGrip连接Presto 为了提升即席查询能力，我为公司搭建了Presto集群。使用命令行客户端连接或者yanagishima开源工具连接不太方便。网上的资料不是很多，记录下来，方便需要的同学们。选择Presto的理由： 1. Impala Presto 查询性能远远优于hive，可实现秒级查询 2. 常规的计算任务，交给hive定时计算，使用Presto或 Impala来处理临时计算需求 3. Impala性能稍领先于Presto，Presto在数据源支持上非常丰富 4.

1/50 hive sql 日期处理函数

m0_64896624的博客

11-25

4168

hive sql 常用的日期处理函数用法

hive&presto日期与字符串转换

热门推荐

星空的风fly

01-10

3万+

由于presto小数据量比hive查询快的多，日常查询作业会经常在hive和presto中转换，但二者函数或部分语法不一样，尤其是日期，因此简单梳理了hive与presto最近一段时间日期时间转换。

Hive + Preto：架构原理

大连赵哥的博客

09-28

636

Hive + Preto：架构原理

hive 和 presto 获取当前时间并且和固定时间相减的不同写发

qq_46068642的博客

02-09

1265

hive 和 presto 获取当前时间并且和固定时间相减的不同写发

Hive日期格式转换用法

行走的树

12-29

1万+

1.日期函数UNIX时间戳转日期函数: from_unixtime语法:from_unixtime(bigint unixtime[, stringformat]) 返回值: string 说明: 转化UNIX时间戳（从1970-01-0100:00:00 UTC到指定时间的秒数）到当前时区的时间格式举例：Hive> select from_unixtime(1483000631,'yyy

Date.parse()的坑

牵One

12-25

1万+

hive中时间类date函数

帅成一匹马

03-14

9027

1. 日期格式化函数：date_format(string date，输出格式) 返回值: string 说明: 对给定的字符串日期进行格式化。举例： hive> select date_format(current_date,'yyyy-MM-dd HH:mm:ss'); 返回结果 2021-03-14 00:00:00 hive> select date_format('2019-06-29','yyyy-MM'); 返回结果 2019-06 hive> sel...

Hive中日期与时间戳的转换

但行好事，莫问前程。

12-13

1万+

hive中日期与时间戳的转换

Hive Sql 时间格式化处理

weixin_30448603的博客

03-05

1582

1.首先要把需要转换的时间转换为时间戳 select unix_timestamp('2018-03-05 17:22:57.784','yyyy-MM-dd HH:mm:ss.SSS'); 2.然后再把时间戳转换为时间 select from_unixtime(1520241777,'yyyyMMddHHmm'); 最后完整代码如下 select ...

hive和presto

08-24

Hive和Presto都是大数据处理领域常用的开源分析型SQL查询引擎，主要用于实时数据查询和复杂分析操作： 1. Hive：最初是Facebook开发并开源的，后来成为Apache软件基金会的一部分。Hive基于Hadoop生态系统，将结构化...