UDF函数进行大批量数据处理,将hive中数据string类型转为data类型
数据来源于区域轨道交通AFC数据,暂时采用一个月数据做测试,大约2.4G,使用UDF函数非常方便快速。在idea里编写一个自定义UDF程序实现时间格式转换,部分代码如下所需的UDF依赖包:hive.exec.*.jar(在 hive/lib 目录下)程序要继承 UDF,作为UDF的子类定义的方法名一定只能是evaluate输入与输出的时间格式 :月份要大写MM 小时也要大写 HH否则...
原创
2019-12-11 11:29:30 ·
767 阅读 ·
0 评论