Hive 3.x|第八天|自定义函数

自定义函数类别

UDF（User-Defined-Function）

一进一出

UDAF（User-Defined Aggregation Function）

聚集函数，多进一出
类似于：count/max/min

UDTF（User-Defined Table-Generating Functions）

一进多出
如 lateral view explode()

步骤

1. 继承 Hive 提供的类
   org.apache.hadoop.hive.ql.udf.generic.GenericUDF
   org.apache.hadoop.hive.ql.udf.generic.GenericUDTF;
2. 实现类中的抽象方法
3. 在 hive 的命令行窗口创建函数
   添加 jar

add jar linux_jar_path

创建 function

create [temporary] function [dbname.]function_name AS class_name;

4. 在 hive 的命令行窗口删除函数

drop [temporary] function [if exists] [dbname.]function_name;

自定义UDF函数

需求

自定义一个 UDF 实现计算给定字符串的长度，例如：

hive(default)> select my_len("abcd"); 4

创建一个 Maven 工程 Hive

导入依赖

<dependencies>
	<dependency>
		<groupId>org.apache.hive</groupId>
		<artifactId>hive-exec</artifactId>
		<version>3.1.2</version>
	</dependency>
</dependencies>

创建一个类继承并实现抽象方法

package com.atguigu.hive;
import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.exec.UDFArgumentLengthException;
import org.apache.hadoop.hive.ql.exec.UDFArgumentTypeException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDF;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
import 
org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectIn
spectorFactory;
/**
* 自定义 UDF 函数，需要继承 GenericUDF 类
* 需求: 计算指定字符串的长度
*/
public class MyStringLength extends GenericUDF {
	/**
	*
	* @param arguments 输入参数类型的鉴别器对象；校验数据参数个数和类型
	* @return 返回值类型的鉴别器对象
	* @throws UDFArgumentException
	*/
	@Override
	public ObjectInspector initialize(ObjectInspector[] arguments) throws 
UDFArgumentException {
		// 判断输入参数的个数
 		if(arguments.length !=1){
 			throw new UDFArgumentLengthException("Input Args Length Error!!!");
 		}
		// 判断输入参数的类型
		if(!arguments[0].getCategory().equals(ObjectInspector.Category.PRIMITIVE)){
			throw new UDFArgumentTypeException(0,"Input Args Type Error!!!");
 		}
 		//函数本身返回值为 int，需要返回 int 类型的鉴别器对象
 		return PrimitiveObjectInspectorFactory.javaIntObjectInspector;
	}
	/**
	 * 函数的逻辑处理
	 * @param arguments 输入的参数
	 * @return 返回值
	 * @throws HiveException
	 */
 	@Override
	public Object evaluate(DeferredObject[] arguments) throws HiveException {
		if(arguments[0].get() == null){
			return 0;
		}
		return arguments[0].get().toString().length();
 	}
 	//查询SQL执行计划的 返回""即可
 	@Override
 	public String getDisplayString(String[] children) {
		return "";
	}
}

打成 jar包

打成 jar 包上传到服务器/opt/module/data/myudf.jar

将 jar 包添加到 hive 的 classpath

hive (default)> add jar /opt/module/data/myudf.jar;

关联java class

创建临时函数与开发好的 java class 关联
my_len()为函数名，后面的包名按照实际情况更改

hive (default)> create temporary function my_len as "com.yjr.hive.MyStringLength";

即可在 hql 中使用自定义的函数

hive (default)> select ename,my_len(ename) ename_len from emp;

自定义 UDTF 函数

需求

自定义一个 UDTF 实现将一个任意分割符的字符串切割成独立的单词，例如：

hive(default)> select myudtf("hello,world,hadoop,hive", ",");
hello
world
hadoop
hive

代码

package com.atguigu.udtf;
import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDTF;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspectorFactory;
import org.apache.hadoop.hive.serde2.objectinspector.StructObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactory;
import java.util.ArrayList;
import java.util.List;
public class MyUDTF extends GenericUDTF {
	private ArrayList<String> outList = new ArrayList<>();
	@Override
	public StructObjectInspector initialize(StructObjectInspector argOIs) throws UDFArgumentException {
		//1.定义输出数据的列名和类型
		//输出数据的默认列名 可以被别名覆盖
		List<String> fieldNames = new ArrayList<>();
		//输出数据的类型
		List<ObjectInspector> fieldOIs = new ArrayList<>();
		//2.添加输出数据的列名和类型
		fieldNames.add("lineToWord");
 
		fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
		return  ObjectInspectorFactory.getStandardStructObjectInspector(fieldNames, fieldOIs);
	}
	@Override
	//处理输入的方法
	public void process(Object[] args) throws HiveException {
		//1.获取原始数据
 		String arg = args[0].toString();
 		//2.获取数据传入的第二个参数，此处为分隔符
 		String splitKey = args[1].toString();
 		//3.将原始数据按照传入的分隔符进行切分
 		String[] fields = arg.split(splitKey);
 		//4.遍历切分后的结果，并写出
 		for (String field : fields) {
 			//集合为复用的，首先清空集合
 			outList.clear();
 			//将每一个单词添加至集合
 			outList.add(field);
 			//将集合内容写出
 			forward(outList);
		}
	}
	@Override
	public void close() throws HiveException {} 
}

打包