Hive UDF开发流程

文章目录一.概述二.UDF分类三.自定义UDF1.pom.xml依赖1.继承UDF类或GenericUDF类重写evaluate()方法并实现函数逻辑3.编译打包为jar文件(打包时的jdk版本需和hadoop的jdk版本一致)4.复制到正确的HDFS4-1在hdfs上创建目录4-2将本地的jar包拷到刚创建的hdfs目录中4-3注册UDF5.使用jar创建临时/永久函数6.使用6-1 模板数据6-2 调用函数一.概述通常情况下,当hive自带的函数并不能完全满足业务需求,这时就需要我们自定义UDF函数
摘要由CSDN通过智能技术生成

一.概述

通常情况下,当hive自带的函数并不能完全满足业务需求,这时就需要我们自定义UDF函数了。
UDF函数其实就是一个简单的函数,执行过程就是在Hive转换成MapReduce程序后,执行java方法,类似于像MapReduce执行过程中加入一个插件,方便扩展。UDF只能实现一进一出的操作,如果需要实现多进一出,则需要实现UDAF。

二.UDF分类

Hive中有3种UDF:

UDF:操作单个数据行,产生单个数据行;
UDAF:操作多个数据行,产生一个数据行;
UDTF:操作一个数据行,产生多个数据行一个表作为输出;

三.自定义UDF

1.pom.xml依赖
 <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-common</artifactId>
      <version>2.6.0</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hive</groupId>
      <artifactId>hive-exec</artifactId>
      <version>1.1.0</version>
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值