Hive的UDF编程

wiki

编程步骤：

1. 继承org.apache.hadoop.hive.ql.UDF
2. 需要实现evaluat函数，evaluate函数支持重载

注意事项：

1. UDF必须要有返回值类型，可以返回null，但是不能为void
2. UDF中常用Text/LongWritable等类型，不推荐使用Java类型

例子

• pom.xml添加依赖

<dependency>
    <groupId>org.apache.hive</groupId>
    <artifactId>hive-jdbc</artifactId>
    <version>2.3.3</version>
</dependency>
<dependency>
    <groupId>org.apache.hive</groupId>
    <artifactId>hive-exec</artifactId>
    <version>2.3.3</version>
</dependency>

• 创建java类 Lower.java
  • 打成jar包，上传到本地目录/opt/datas

package com.example.hive.udf;
 
import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;
 
public final class Lower extends UDF {
  public Text evaluate(Text s) {
    if (s == null) { return null; }
    return new Text(s.toString().toLowerCase());
  }
}

• 创建函数
  • 加载jar包至hive
  • add jar /opt/dadas/hiveudf.jar
  • 注册函数
  • create temporary function my_lower as 'com.example.hive.udf.Lower';
• 运行
  hive> select my_lower(title), sum(freq) from titles group by my_lower(title);

注册函数的方法：

1. create temporary function my_lower as 'com.example.hive.udf.Lower'//临时函数
2. create function my_db.my_lower as 'com.example.hive.udf.Lower';
3. CREATE FUNCTION myfunc AS 'myclass' USING JAR 'hdfs:///path/to/jar';//必须保证jar在hdfs文件系统中
   • eg: CREATE FUNCTION mylower AS 'com.example.hive.udf.Lower' USING JAR 'hdfs://hdp-node-01:8020/user/root/hive/jar/hiveudf.jar