UDF函数进行大批量数据处理,将hive中数据string类型转为data类型

本文介绍如何通过自定义UDF函数处理大批量数据,将Hive中的时间戳字符串转换为日期格式。利用IDEA编写UDF程序,继承UDF类并实现evaluate方法,注意时间和日期格式的规范。将程序打包成jar,加载到Hive中,创建临时函数并应用于数据转换,最后将转换后的数据保存到新的表中。
摘要由CSDN通过智能技术生成

数据来源于区域轨道交通AFC数据,暂时采用一个月数据做测试,大约2.4G,使用UDF函数非常方便快速。

在idea里编写一个自定义UDF程序实现时间格式转换,部分代码如下

所需的UDF依赖包:hive.exec.*.jar(在 hive/lib 目录下)
程序要继承 UDF,作为UDF的子类
定义的方法名一定只能是evaluate
输入与输出的时间格式 :月份要大写MM 小时也要大写 HH
否则会出现这种格式:Mon Jan 01 06:24:45 CST 2018 或者 2018-24-

将程序打包成jar包加载至hive中

   add jar  /opt/hive/UDF.jar

jar在本地的存放路径

加载自定义函数进行日期转换

Create temporary function datetest(自定义的函数) as ‘com.cdu.ed.UDFTest’(包名.类名)

使用自定义的函数进行格式转换
Select datetest(recivetime)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值