to_date函数在hive、presto、spark中的区别

to_date函数在 hive、presto、spark中都有,但是差别还是挺大的。

1、hive

select to_date('20220501','yyyymmdd')

报错:
org.apache.hive.service.cli.HiveSQLException: Error while compiling statement: 
FAILED: SemanticException [Error 10015]: 
Line 1:15 Arguments length mismatch ''yyyymmdd'': to_date() requires 1 argument, got 2

从报错信息可以看出,to_date函数要求1个参数,但实际有2个。。。hive中的to_date函数有点鸡肋。

2、presto

select to_date('20220501','yyyymmdd')

输出:
_col0
2022-05-01

输出结果是正确的,按照 yyyymmdd 的格式来理解字符串 20220501,并转成了标准的日期

3、spark

select to_date('20220501','yyyymmdd')

输出:
2022-01-01

输出为 2022-01-01,完全无法理解。。。肯定是哪里出了问题。

在查询spark函数的资料后发现,是第2个参数 yyyymmdd写错了,应该改成 yyyyMMdd。

select to_date('20220501','yyyyMMdd')

输出:
2022-05-01

  • 2
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Hive 实现一个类似于 Oracle 的 to_date 函数可以通过自定义 UDF(User-Defined Function)来实现。UDF 允许你在 Hive 查询使用自定义的函数。 以下是一个示例,展示如何在 Hive 实现一个类似于 Oracle 的 to_date 函数: 1. 创建一个 Java 类,实现 Hive UDF 接口: ```java import org.apache.hadoop.hive.ql.exec.Description; import org.apache.hadoop.hive.ql.exec.UDF; import org.apache.hadoop.io.Text; import java.text.ParseException; import java.text.SimpleDateFormat; import java.util.Date; @Description(name = "to_date", value = "Converts a string to a date", extended = "Example:\n" + " > SELECT to_date('2022-01-01', 'yyyy-MM-dd') FROM table;") public class ToDateUDF extends UDF { public Text evaluate(Text dateString, Text formatString) { if (dateString == null || formatString == null) { return null; } String dateStr = dateString.toString(); String formatStr = formatString.toString(); SimpleDateFormat format = new SimpleDateFormat(formatStr); try { Date date = format.parse(dateStr); return new Text(date.toString()); } catch (ParseException e) { return null; } } } ``` 2. 编译 Java 类,并将生成的 JAR 文件添加到 Hive 类路径。 3. 在 Hive 注册自定义函数: ```hive ADD JAR /path/to/your/jar/your-jar.jar; CREATE TEMPORARY FUNCTION to_date AS 'com.example.ToDateUDF'; ``` 4. 使用自定义函数: ```hive SELECT to_date('2022-01-01', 'yyyy-MM-dd') FROM table; ``` 这样,你就可以在 Hive 使用类似于 Oracle 的 to_date 函数进行日期转换了。请确保替换代码的包名(com.example)和 JAR 文件路径(/path/to/your/jar/your-jar.jar)为你自己的值。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值