Hive的用户自定义函数UDF开发步骤详解

最新推荐文章于 2024-04-26 20:12:04 发布

二百四十九先森

最新推荐文章于 2024-04-26 20:12:04 发布

阅读量2.2k

点赞数 1

分类专栏：数据仓库Hive学习总结文章标签： hive join UDF 内置函数

本文链接：https://blog.csdn.net/pengzonglu7292/article/details/79115977

版权

本文详细解析了Hive用户自定义函数(UDF)的开发过程，从创建Java类实现Hive UDF接口，到编译、打包、上传Hive库，最后在Hive查询中使用自定义函数，帮助读者掌握Hive扩展功能。

摘要由CSDN通过智能技术生成

1、自定义函数的分类：
UDF: one2one  concat/lower   生产上用的最多
UDAF: many2one count/max......
UDTF: one2many  lateral view explode

2、开发流程
新建项目----》导入jar包----》开发函数（继承UDF，重写evaluate。用hadoop的数据类型。）
----》打成jar包----》上传到linux----》上传到hdfs----》进入hive客户端----》
创建UDF函数----》使用函数

3、一个简单的UDF函数

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;

public class TuoMin extends UDF{
	
	public Text evaluate(final Text s){
		if(s==null){
			return null;
		}
		String str=s.toString().substring(0,3)+"*****"+s.toString().substring(8,11);
		return new Text(str);
	}
}



4、创建UDF函数
语法：
CREATE FUNCTION [db_name.]function_name AS class_name
  [USING JAR|FILE|ARCHIVE 'file_uri' [, JAR|FILE|ARCHIVE 'file_uri'] ];

示例：
create function tm as 'com.hive.one.TuoMin' using jar 'hdfs://Linux005:9000/jars/tm.jar';

5、使用函数
hive> select tm('18812636882') fr