hive中自定义函数

1、需求:
需要对json数据表中的json数据写一个自定义函数,用于传入一个json,返回一个数据值的数组
json原始数据表:
在这里插入图片描述
需要做ETL操作,将json数据变成普通表数据,插入另一个表中:
在这里插入图片描述
2、实现步骤:
step1、开发java的UDF类,继承UDF类并且重载方法
public C evaluate(A a,B b);
在这里插入图片描述
step2、打jar包
step3、上传jar包到运行hive所在的linux机器
在这里插入图片描述
step4、将此jar包添加到hive环境中
3:jdbc:hive2://localhost:10000>add jar /root/hivetest/hive-1.0-SNAPSHOT.jar在这里插入图片描述
step5、用命令去创建一个函数关联自定义的java类
3:jdbc:hive2://localhost:10000>create temporary function myjson as ''com.ll.hive.MyJsonParser";
在这里插入图片描述
step6、使用自定义的函数
create table t_rate
as
select myjson(json,1) as movie,
myjson(json,2) as rate,
myjson(json,3) as tS,
myjson(json,4) as uid
from t_ratting;在这里插入图片描述

  • 2
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值