Presto和Hive的日期处理（工作总结）会持续更新

南潇如梦

已于 2022-10-10 23:06:46 修改

阅读量868

点赞数

分类专栏：工作经验复盘文章标签： sql hive presto

于 2022-10-07 23:43:46 首次发布

本文链接：https://blog.csdn.net/weixin_45682261/article/details/127201270

版权

本文总结了使用Presto和Hive进行日期处理的经验，包括：使用Presto获取当前月份并转换日期格式为20221007，编写Presto SQL获取每月新增数据，利用Hive查询最近7天时间范围，以及在Hive中统计每年各月指标数据。

摘要由CSDN通过智能技术生成

1、获取当前时间的月份，并且把日期转为20221007模式（presto）

select replace(substr(cast (current_timestamp as varchar),1,7),'-','');

在这里插入图片描述
2、求每个月上新的sql代码（presto）

select
$date_no$ date_time,
'上新总数'  type,
sum((case when month_date = '202201' then  total_sum else 0 end )) January,
sum((case when month_date = '202202' then  total_sum else 0 end) )

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

南潇如梦

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

Presto原理与代码实例讲解

AGI通用人工智能之禅

06-25

Presto原理与代码实例讲解 1.背景介绍在当今大数据时代，数据分析和查询已经成为企业和组织的一项关键任务。传统的数据库系统往往无法满足对大规模数据集进行快速、高效查询的需求。这就催生了一种新型的大数据查询引擎——Presto。 Presto是一个开源的大数据分布式SQL查询

分享在企业中大规模数据处理的最佳实践经验和解决方案：关键问题和挑战，分析目前已有的开源工具、框架、方法，并提出相应的方案或改进方向

AI天才研究院

08-01

2516

随着大数据、云计算等新技术的不断涌现，人工智能和机器学习等高端人才越来越多，企业也在不断面临大数据处理能力需求，如何在快速迭代的大环境下有效地运用数据，确保其准确性、完整性、可靠性成为企业绕不开的一道关卡。本文旨在分享在企业中大规模数据处理的最佳实践经验和解决方案。文章主要基于企业大数据的实际应用场景和技术需求，总结出该领域中存在的关键问题和挑战，分析目前已有的开源工具、框架、方法，并提出相应的方案或改进方向。大数据作为一种新兴技术，无论从数量还是质量上都处于世界前列。

参与评论您还未登录，请先登录后发表或查看评论

Presto 时间、日期及计算相关日期

weixin_42771366的博客

01-03

1万+

Presto日期函数，求当月第一天，两个日期之间相差的天数，求当前日期、时间，当前年等

presto-获取当前日期的最近n个工作日

weixin_45947707的博客

12-17

3231

#手动传入2020年的所有节假日 select cast(dt as varchar(32)) as four_work_day_ago ,date(‘2019-12-17’) as dt from ( select dt, row_number() over(order by dt desc) as rank1 from (values sequence(date(‘2019-12-18’),d...

Hive + Preto：架构原理

热门推荐

zhao_cong的博客

04-23

2万+

时间&日期函数 -- 2021-04-15 14:40:18.791 Asia/Shanghai select now() -- 2021-04-15 select current_date -- 14:10:41.586 Asia/Shanghai select current_time -- 2021-04-15 14:13:03.720 Asia/Shanghai select current_timestamp -- 昨天的年月日 select current_date - inte

从 0 到 1 学习 Presto，这一篇就够了

大数据梦想家

03-14

1万+

前言 Presto 作为现在在企业中流行使用的即席查询框架，已经在不同的领域得到了越来越多的应用。本期内容，我就从一个初学者的角度，带着大家从 0 到 1 学习 Presto，希望大家能够有所收获！ Presto简介 1. Presto概念 Presto是 Facebook 推出的一个开源的分布式SQL查询引擎，

Presto中的并发查询和资源管理

Presto 的主要目标是用于处理大规模的数据，同时保持低延迟和高吞吐量。 ## Presto的背景和作用在传统的数据仓库架构中，通常会使用专门的数据仓库工具来进行数据分析，但随着数据规模的不断增大和多样化，这些...

【SQL】prestoSQL 日期函数实战常用方法（更新中）

weixin_41765578的博客

09-05

1523

本文用于整理企业实战中常见的日期函数使用需求，主要基于presto sql语法进行实现。内容将会持续更新。

[presto（trino）]多种日期写法

数据打工人的博客

10-09

8334

显示当前日期 select current_date 精确到毫秒，并显示时区 select now() 显示前一天 select current_date - interval '1' day 4.字符串转时间 select date_parse('20210512','%Y%m%d') 时间转字符串 select date_format(current_date -interval '1' day,'%Y-%m-%d %T') 计算时间的函数 date_add(uni.

【presto 日期处理】

Silenceyezi的博客

01-12

5763

上篇文章【hive 日期处理】中我们介绍了hive的日期使用方法，现在我们对比看一下presto要如何实现 1、返回当周的周一 select date_format(date_trunc('week',current_date),'%Y-%m-%d') 2、返回当周周五 select date_add('day',4,cast(date_format(date_trunc('week',current_date),'%Y-%m-%d') as date)) 3、日期加减（日、小时、分钟、秒） sele

根据日期时间段获取各个月份

diaokang2511的博客

12-28

436

private String[] getDateArrByMonth(Date startDate, Date endDate) { Calendar c = Calendar.getInstance(); List<String> list = new ArrayList<String>(); SimpleDateFormat df = ...

取上个月的月初和月末

三人行，必有我师焉。

08-19

2015

package com.lehecai.core.thread; import com.lehecai.core.util.CoreDateUtils; import java.util.Calendar; import java.util.Date; /** * Created by lkp on 2015/8/19. * 取上个月的月初和月末 */ publi

presto查询根据出生年月日获取现在的年龄

Meet_again007的博客

01-02

1107

select count(1) from( select rpt_id from ( select rpt_id,bd,cast(split(cast ((current_date-cast(bd as date))/365 as varchar),' ')[1] as int) age from dataetl.rpt_b where sex='女' and bd!='' )a...

presto SQL快捷获取每月第一天

weixin_43792309的博客

09-10

3389

SELECT CAST(DATE_ADD(‘day’,1-day(current_date),current_date)as varchar(20))

presto和hive 时间函数差异

06-23

Presto和Hive都是用于大数据处理的SQL查询引擎，它们的时间函数虽然有许多相似之处，但也存在一些差异： 1. 性能优化：Presto设计上强调了实时分析，对时间函数的执行速度通常更快，尤其对于复杂的窗口函数和聚合操作。而Hive更适合离线批处理，时间函数的性能可能不如Presto响应迅速。 2. 时间戳处理：Presto支持多种时间戳类型，如TIMESTAMP、TIMESTAMP WITH TIME ZONE等，并且提供了丰富的日期和时间函数，如DATE_TRUNC、DATE_ADD、EXTRACT等。Hive也有类似的功能，但可能会有一些细微的函数命名和用法区别。 3. 动态分区：在处理基于时间范围的动态分区时，Presto的`DATE_TRUNC`和`ROW_NUMBER()`函数可以帮助用户更灵活地创建范围分区。Hive在这方面也有支持，但可能需要额外的脚本或存储过程。 4. 分区查询优化：Presto能够根据时间分区进行优化，例如，如果查询只针对最近的数据，它可以快速过滤掉较早的分区，而Hive可能需要遍历所有分区。