Hive自定义函数

本文介绍了如何在Hive中创建和部署自定义函数(UDF和UDAF)。通过Java编程,实现了UDF的evaluate方法以处理字符串截取功能,并详细阐述了UDAF的实现步骤,包括继承UDAF类,实现UDAFEvaluator接口的多个方法,以达到类似系统内置聚合函数的效果。最后,讲解了布署自定义函数的maven管理和Hive CLI操作过程。
摘要由CSDN通过智能技术生成

一. UDF(user defined function)

  • 背景
  1. 系统内置函数无法解决所有的实际业务问题,需要开发者自己编写函数实现自身的业务实现诉求。
  2. 应用场景非常多,面临的业务不同导致个性化实现很多,故udf很需要。
  • 意义
  1. 函数扩展得到解决,极大丰富了可定制化的业务需求。
  • IO要求-要解决的问题
  1. in:out=1:1,只能输入一条记录当中的数据,同时返回一条处理结果。
  2. 属于最常见的自定义函数,像cos,sin,substring,instr等均是如此要求。
  • 实现步骤(Java创建自定义UDF类)
  1. 自定义一个java类
  2. 继承UDF类
  3. 约定俗成的重写evaluate方法
  4. 打包类所在项目成一个all-in-one的jar包并上传到hive所在机器
  5. 在hive中执行add jar操作,将jar加载到classpath中。
  6. 在hive中创建模板函数,使得后边可以使用该函数名称调用实际的udf函数
  7. hive sql中像调用系统函数一样使用udf函数
  • 代码实现
  1. 功能要求:实现当输入字符串超过2个字符的时候,多余的字符以"..."来表示。
  2. 如“12”则返回“12”,如“12
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值