Trino 与Hive 有差异的函数

日常使用中发现trino和hive中的有一些函数存在差异,所以开此帖记录一下

  • 这里只是记录trino和hive有差异的函数,遇到了就会记录一下,不定期更新

1. 查看集合中元素个数

  • hive:size()
  • trino:cardinality()

2. map取值

  • hive:Map[key]
  • trino:element_at(map(K, V), key)

3. 爆炸函数

  • hive:
SELECT student, score
FROM tests
LATERAL VIEW explode(scores) t AS score;
  • trino:
SELECT student, score
FROM tests
CROSS JOIN UNNEST(scores) AS t (score);

4.类型转换

  • hive: cast()
  • trino:try_cast()

trino 中也有cast()函数,但是cast()函数对于转换不了的类型会抛出异常,如:cast('abc' as int) 会报错

5.日期函数

日期相差几天

  • trino:select date_diff('day',cast('2024-10-18' as date),cast('2024-11-01' as date))
  • hive:select datediff('2024-11-01','2024-10-18')

结果:14

  • trino 两个时间相差几个小时:
select date_diff('hour',date_parse('2022070316','%Y%m%d%H'),current_timestamp)

日期加减

  • hive
select date_add('2024-11-30',2);
select date_add(current_timestamp,2);  
  • presto
select date_add('day',-2,cast('2020-01-10' as date));  -->输出date类型日期:2021-01-08
select date_add('day',-2,current_date);   -->输出date类型日期:2021-01-06
select format_datetime(date_add('day',-1,cast('2021-06-19' as date)),'yyyy-MM-dd')

6. 从json串中提取字段

  • trino:json_extract_scalar(json_str , '$.column')
  • hive:get_json_object(json_str , '$.column')
Trino是一种用于分布式数据处理的开源框架,支持访问各种数据源。Hive是Hadoop生态系统中的一种数据仓库和分析工具,用于处理大规模结构化数据。在使用Trino访问Hive时,可能会需要添加一些自定义的jar包,以便在查询中使用自定义的函数或者数据类型。 要在Trino中访问Hive并添加jar包,通常需要按照以下步骤进行操作: 1. 首先需要启动Trino集群,并且确保能够成功连接到Hive。可以通过修改Trino的配置文件来指定Hive的连接参数。 2. 接下来,需要将自定义的jar包上传到Trino的文件系统中。可以使用Trino提供的命令行工具或者API来上传jar包,例如: ```shell trino-client upload my.jar ``` 3. 上传完成后,需要在Trino中添加自定义jar包的路径。可以通过修改Trino的配置文件或者执行SQL语句来添加路径,例如: ```sql SET session hive.customize-hive-session=true; SET session hive.customize-hive.session-config=my_config.xml; ``` 其中,my_config.xml是自定义的Hive配置文件,需要包含自定义jar包的路径等信息。 4. 最后,可以在Trino中通过SQL语句来使用自定义的函数或者数据类型。例如: ```sql SELECT my_function(col1, col2) FROM my_table; ``` 其中,my_function就是自定义的函数名,col1和col2是需要传递给函数的参数。如果自定义的函数或者数据类型没有成功加载,可能会出现错误提示。 总之,在Trino访问Hive并添加jar包时,需要确保掌握基本的TrinoHive使用方法,并遵循适当的操作流程,才能确保成功完成任务。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

香山上的麻雀1008

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值