hive复杂数据类型 UDF UDAF学习

宋宋1731

于 2022-09-29 20:42:26 发布

阅读量316

点赞数

文章标签： hive hadoop 大数据

本文链接：https://blog.csdn.net/m0_70160355/article/details/127113565

版权

UDF

实现步骤(Java创建自定义UDF类)

自定义一个java类
继承UDF类
约定俗成的重写evaluate方法
打包类所在项目成一个jar包并上传到hive所在机器
在hive中执行add jar操作，将jar加载到classpath中。
在hive中创建模板函数，使得后边可以使用该函数名称调用实际的udf函数
hive sql中像调用系统函数一样使用udf函数

代码实现

package com.tianliangedu.hive.udf;
import org.apache.hadoop.hive.ql.exec.UDF;
/*
 * 功能：实现当输入字符串超过2个字符的时候，多余的字符以"..."来表示。
 * 输入/输出：* 如“12”则返回“12”，如“123”返回“12..."
 */
public class ValueMaskUDF extends UDF{
       public String evaluate(String input,int maxSaveStringLength,String replaceSign) {
   if (input.length() <= maxSaveStringLength) {
            return input;
        }
        return input.substring(0, maxSaveStringLength) + replaceSign;
}

mavev配置

出现jar包问题

更改了镜像只留了阿里云的镜像

之后mvn clean install

<project xmlns="http://maven.apache.org/POM/4.0.0"; xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"; 
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0http://maven.apache.org/xsd/maven-4.0.0.xsd";>
	<modelVersion>4.0.0</modelVersion>
	<groupId>com.tianliangedu.course</groupId>
	<artifactId>TlHadoopCore</artifactId>
	<version>0.0.1-SNAPSHOT</version>
<!-- 设置编码为 UTF-8 -->
	<properties>
	  <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
		<maven.compiler.encoding>UTF-8</maven.compiler.encoding>
	</properties>
	<!-- 首先配置仓库的服务器位置,首选阿里云，也可以配置镜像 -->
	<repositories>
		<repository>
			<id>nexus-aliyun</id>
			<name>Nexus aliyun</name>
			<url>h