Hive UDF函数与UDTF函数

最新推荐文章于 2024-07-29 11:49:46 发布
最新推荐文章于 2024-07-29 11:49:46 发布
阅读量597 收藏 1
点赞数 1
分类专栏： 大数据 文章标签： hive 学习笔记 UDF UDTF
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yisuoyanyv/article/details/112726539
版权
本文详细介绍了如何在Hive中创建和使用自定义函数，包括UDF（一进一出）、UDAF（多进一出）和UDTF（一进多出）。通过实例展示了自定义字符串长度函数和字符串拆分函数的编写、打包、上传、注册及使用过程。同时，提供了扩展测试和异常处理情况，帮助理解函数的输入参数限制和错误处理。
摘要由CSDN通过智能技术生成

目录

UDF（User-Defined-Function)

一进一出

开发示例：
1.创建maven项目， 引入依赖

  <dependencies>
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-exec</artifactId>
            <version>2.3.6</version>
        </dependency>
    </dependencies>

2.编写自定义类，继承GenericUDF类，并重写initialize和evaluate方法。

package hive.udf;

import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.exec.UDFArgumentLengthException;
import org.apache.hadoop.hive.ql.exec.UDFArgumentTypeException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDF;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactory;

/**
 * 自定义UDF函数
 *
 * 需要继承GenericUDF类，重写抽象方法。
 *
 * 函数的调用： select my_len('abcd');
 * UDF
 */
public class StringLengthUDF extends GenericUDF {
    /**
     * 初始化方法 判断传入到参数的个数，类型等，约定函数的返回值类型
     * @param objectInspectors 传入到函数的参数类型
     * @return
     * @throws UDFArgumentException
     */
    @Override
    public ObjectInspector initialize(ObjectInspector[] objectInspectors) throws UDFArgumentException {
        //简单判断
        //判断参数的个数
        if(objectInspectors.length != 1){
            throw new UDFArgumentLengthException("Input Args Length Error!!!");
        }
        //判断类型
        if(!objectInspectors[0].getCategory().equals(ObjectInspector.Category.PRIMITIVE)){
            throw new UDFArgumentTypeException(0,"Input Args Type Error!!!");
        }
        //约定函数的返回值类型
        return PrimitiveObjectInspectorFactory.javaIntObjectInspector; //int
    }

    /**
     * 函数的逻辑处理
     * @param deferredObjects 传入到函数的参数值
     * @return
     * @throws HiveException
     */
    @Override
    public Object evaluate(DeferredObject[] deferredObjects) throws HiveException {
        //获取参数
        Object o = deferredObjects[0].get();
        return o.toString().length();
    }

    @Override
    public String getDisplayString(String[] strings) {
        return "";
    }
}

3.maven 打包，上传到服务器 /opt/module/hive/datas目录
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wQyjfCXB-1610808951579)(en-resource://database/2660:0)]

重命名jar包，为了后续方便书写
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hDZwOvj2-1610808951581)(en-resource://database/2662:0)]

4.将自定义的UDF函数jar包，在hive命令窗口，添加到hive 的class path中:

hive (default)> add jar /opt/module/hive/datas/myudf.jar ;
Added [/opt/module/hive/datas/myudf.jar] to class path
Added resources: [/opt/module/hive/datas/myudf.jar]

5.注册函数名称，绑定自定义的UDF类（hive.udf.StringLengthUDF）
temporary 可选，表示本次连接后失效。

hive (default)> create temporary function my_len as "hive.udf.StringLengthUDF";

6.使用

hive (default)> select my_len('adsdfsdf');
OK
_c0
8
Time taken: 0.022 seconds, Fetched: 1 row(s)
hive (default)> select my_len(3123123);
OK
_c0
7
Time taken: 0.033 seconds, Fetched: 1 row(s)

--异常报错：
FAILED: ParseException line 1:34 mismatched input '<EOF>' expecting ) near ')' in function specification
hive (default)> select my_len(split('a,b,v,d',','));
FAILED: SemanticException [Error 10016]: Line 1:14 Argument type mismatch '','': Input Args Type Error!!!
hive (default)> select my_len(3123123,3123);
FAILED: SemanticException [Error 10015]: Line 1:7 Arguments length mismatch '3123': Input Args Length Error!!!

UDAF（User-Defined-Aggregation Function)

聚集函数，多进一出
类似于：count/max/min

UDTF(User-Defined Table-Generating Functions)

一进多出
如lateral view explode()

需求：

hive(default)> select myudtf("hello,world,hadoop,hive", ",");
hello
world
hadoop
hive

1.自定义类，继承GenericUDTF类，重写initialize和Process方法

package hive.udtf;

import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDTF;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspectorFactory;
import org.apache.hadoop.hive.serde2.objectinspector.StructField;
import org.apache.hadoop.hive.serde2.objectinspector.StructObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactory;

import java.util.ArrayList;
import java.util.List;

/**
 * 自定义UDTF函数
 *
 * 需要继承 GenericUDTF类，并重写抽象方法
 *
 * 函数的使用： select myudtf('hive,hadoop,flume,kafka',',');
 *
 * 结果:  word
 *      hive
 *      hadoop
 *      flume
 *      kafka
 *
 * 扩展：
 * select myudtf2('hadoop-niupi,java-lihai,songsong-kuai,dahai-lang',',','-');
 * 结果： word1   word2
 *      hadoop niupi
 *      java  lihai
 *      songsong kuai
 *      dahai lang
 *
 */
public class StringSplitUDTF extends GenericUDTF {
    private ArrayList<String> outList=new ArrayList<>();

    /**
     * 初始化方法  约定函数的返回值类型 和 函数的返回值列名
     * @param argOIs
     * @return
     * @throws UDFArgumentException
     */
    @Override
    public StructObjectInspector initialize(StructObjectInspector argOIs) throws UDFArgumentException {
        //基本判断
        List<? extends StructField> fieldRefs = argOIs.getAllStructFieldRefs();
        if(fieldRefs.size() != 2){
            throw new UDFArgumentException("Input Args Length Error!!!");
        }
        //约定函数返回的列的名字
        ArrayList<String> fieldNames=new ArrayList<>();
        fieldNames.add("word");
        ArrayList<ObjectInspector> fieldOIs=new ArrayList<>();
        //约定函数返回的列的类型
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        return ObjectInspectorFactory.getStandardStructObjectInspector(fieldNames,fieldOIs);

    }

    /**
     * 函数逻辑处理
     * @param objects
     * @throws HiveException
     */
    @Override
    public void process(Object[] objects) throws HiveException {
        //获取参数
        String argsData = objects[0].toString();
        String argsSplit = objects[1].toString();
        //切分数据
        String[] words = argsData.split(argsSplit);
        //写出数据 每个单词一行
        for (String word : words) {
            //因为集合时重用的，所以每次要先清空
            outList.clear();
            //将当前的单词全放到集合中
            outList.add(word);
            //将当前的单词一行一行写出
            forward(outList);
        }

    }

    @Override
    public void close() throws HiveException {

    }
}

2.打包
3.将打好的jar包添加到linux中
4.将上传的jar包添加到hive的环境中，创建自定义函数

hive (default)> add jar /opt/module/hive/datas/myudtf.jar;
Added [/opt/module/hive/datas/myudtf.jar] to class path
Added resources: [/opt/module/hive/datas/myudtf.jar]

hive (default)> create temporary function myudtf as "hive.udtf.StringSplitUDTF";
OK
Time taken: 0.104 seconds

hive (default)> select myudtf("hive,hadoop,flume,kafka",",");
OK
word
hive
hadoop
flume
kafka
Time taken: 0.278 seconds, Fetched: 4 row(s)

测试
如果自定义的包有问题，则hive重复 add jar 更新包不会生效。断掉本次连接，重新进入，方能生效。

扩展测试：返回两列

package hive.udtf;

import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDTF;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspectorFactory;
import org.apache.hadoop.hive.serde2.objectinspector.StructField;
import org.apache.hadoop.hive.serde2.objectinspector.StructObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactory;

import java.util.ArrayList;
import java.util.List;

/**
 * 自定义UDTF函数
 *
 * 需要继承 GenericUDTF类，并重写抽象方法
 *
 * 函数的使用： select myudtf('hive,hadoop,flume,kafka',',');
 *
 * 结果:  word
 *      hive
 *      hadoop
 *      flume
 *      kafka
 *
 * 扩展：
 * select myudtf2('hadoop-niupi,java-lihai,songsong-kuai,dahai-lang',',','-');
 * 结果： word1   word2
 *      hadoop niupi
 *      java  lihai
 *      songsong kuai
 *      dahai lang
 *
 */
public class StringSplitUDTF2 extends GenericUDTF {
    private ArrayList<String> outList=new ArrayList<>();

    /**
     * 初始化方法  约定函数的返回值类型 和 函数的返回值列名
     * @param argOIs
     * @return
     * @throws UDFArgumentException
     */
    @Override
    public StructObjectInspector initialize(StructObjectInspector argOIs) throws UDFArgumentException {
        //基本判断
        List<? extends StructField> fieldRefs = argOIs.getAllStructFieldRefs();
        if(fieldRefs.size() != 3){
            throw new UDFArgumentException("Input Args Length Error!!!");
        }
        //约定函数返回的列的名字
        ArrayList<String> fieldNames=new ArrayList<>();
        fieldNames.add("word1");
        fieldNames.add("word2");
        ArrayList<ObjectInspector> fieldOIs=new ArrayList<>();
        //约定函数返回的列的类型
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        return ObjectInspectorFactory.getStandardStructObjectInspector(fieldNames,fieldOIs);

    }

    /**
     * 函数逻辑处理
     * @param objects
     * @throws HiveException
     */
    @Override
    public void process(Object[] objects) throws HiveException {
        //获取参数
        String argsData = objects[0].toString();//'hadoop-niupi,java-lihai,songsong-kuai,dahai-lang'
        String rowsSplit = objects[1].toString(); // ,
        String colsSplit = objects[2].toString();// -
        String[] rows = argsData.split(rowsSplit);
        for (String row : rows) {
            //因为集合是复用的，使用前先清空
            outList.clear();
            //row:hadoop-niupi
            String[] cols = row.split(colsSplit);
            for (String word : cols) {
                outList.add(word);//一行中的两列数据
            }
            //写出
            forward(outList);
        }


    }

    @Override
    public void close() throws HiveException {

    }
}


hive (default)> add jar /opt/module/hive/datas/myudtf2.jar;
Added [/opt/module/hive/datas/myudtf2.jar] to class path
Added resources: [/opt/module/hive/datas/myudtf2.jar]
hive (default)> create temporary function myudtf2 as 'hive.udtf.StringSplitUDTF2';
OK
Time taken: 0.449 seconds
hive (default)> select myudtf2('hadoop-niup','songsong-lihai','dahai-kuai',',','-');
FAILED: UDFArgumentException Input Args Length Error!!!
hive (default)> select myudtf2('hadoop-niup,songsong-lihai,dahai-kuai',',','-');
OK
word1   word2
hadoop  niup
songsong        lihai
dahai   kuai
Time taken: 0.194 seconds, Fetched: 3 row(s)
yisuoyanyv
关注
专栏目录
Hive UDF、UDAF和UDTF函数详解
JustinMars的博客
09-04 713
在 Hive 中，可以编写和使用不同类型的自定义函数，包括 UDF（User-Defined Functions）、UDAF（User-Defined Aggregate Functions）和 UDTF（User-Defined Table Functions）。
python中code函数是干嘛的_[Code] Python简单小知识
weixin_35715335的博客
01-29 4021
1. Python函数参数1. 位置参数调用时根据定义参数的顺序传参，如下例：def fun(a, b):return a-bfun(1, 2) # 结果为 1-2 = -12. 默认参数定义函数时写入默认参数，即便不传参也不会显示错误，如下例：def function (param = 0)return param规范： 将默认的、变化不大的写在后面，变化大的参数写在前面3. 可更改与...
函数
qq_52215223的博客
11-23 189
函数 函数定义 概念：函数，也称方法；我们把一定功能模块封装成一个独立的模块，在我们需要用到它时调用它，在没有调用时不会执行。 目的：提高代码的复用性和维护性。 定义：修饰符 返回类型 函数名（参数类型 参数n）{ 实现功能的多行代码； return 返回值； } 其中参数可以有多个，各参数之间逗号隔开。 函数的调用：对象名.函数名（传入参数）；，当方法被static修饰时可以直接类名.方法名（参数）；。注意，传入参数与函数参数一致。 例如： package com.method; //基本函数的定义
Hive中的用户自定义函数：UDF、UDAF、UDTF的区别
最新发布
My_wife_QBL的博客
07-29 725
用户自定义函数（UDF）是Hive中最基本的自定义函数类型。它允许用户根据自己的需求，创建可以在HiveQL查询中使用的函数。UDF通常用于进行数据转换、格式化和计算等操作。用户自定义聚合函数（UDAF）允许用户定义聚合逻辑，这种逻辑通常需要在数据集中对多行数据进行处理并返回一个单一结果。UDAF在数据分析中非常常见，适合用于执行统计、汇总等操作。用户自定义表生成函数（UDTF）是一种特殊类型的自定义函数，它允许用户从输入行生成多行输出。UDTF非常适合用于处理复杂的数据结构，如拆分字符串、展开数组等。
python的code函数_Python常用函数
weixin_42131405的博客
01-12 1266
一、数学相关1、绝对值：abs(-1)2、最大最小值：max([1,2,3])、 min([1,2,3])3、序列长度：len('abc')、 len([1,2,3])、 len((1,2,3))4、取模：divmod(5,2) //(2,1)5、乘方：pow(2,3,4) //2**3/46、浮点数：round(1) //1.0二、功能相关1、函数是否可调用：ca...
Python函数 _Code
垂钓西湖边的博客
05-12 546
FunctionStuDemo # coding=utf-8 def sayHello(): # 定义函数sayHello print 'Hello world!' sayHello() #调用函数sayHello sayHello() #可以重复调用 sayHello() print def sayHello2(someone): print 'Hello',s...
python必备基础代码-新手上路必学的Python函数基础知识，全在这里了（多段代码举例）...
q6q6q的专栏
10-28 115
原标题：新手上路必学的Python函数基础知识，全在这里了（多段代码举例）导读：函数是Python中最重要、最基础的代码组织和代码复用方式。根据经验，如果你需要多次重复相同或类似的代码，就非常值得写一个可复用的函数。通过给一组Python语句一个函数名，形成的函数可以帮助你的代码更加可读。函数声明时使用def关键字，返回时使用return关键字：defmy_function(x, y, z=1.5...
Hive中自定义函数UDF、UDTF函数介绍
qq_40078490的博客
08-15 1203
Hive中自定义函数UDF、UDTF函数介绍
HIVE udf、udaf、udtf函数定义与用法（最全！！！！！）
nono的博客
02-08 5454
一、定义 1、hive udf、udaf、udtf函数定义与用法 （1）UDF（user-defined function）作用于单个数据行，产生一个数据行作为输出。（数学函数，字符串函数） （2）UDAF（用户定义聚集函数 User- Defined Aggregation Funcation）：接收多个输入数据行，并产生一个输出数据行。（count，max） （3）UDTF（表格生成函数 User-Defined Table Functions）：接收一行输入，输出（explode） 总结：
大数据 java hive udf函数的示例代码（手机号码脱敏）
08-19
"大数据 Java Hive UDF 函数示例代码（手机号码脱敏）" 大数据 Java Hive UDF 函数示例代码（手机号码脱敏）是指使用 Java 语言开发的用户定义函数（User Defined Function，UDF），该函数可以在 Hive 中使用，实现...
Hive UDF自定义函数原理与代码实例讲解
程序员光剑
06-06 1058
Hive UDF自定义函数原理与代码实例讲解 1.背景介绍 在大数据时代,海量数据的存储和处理成为了一个巨大的挑战。Apache Hive作为构建在Hadoop之上的数据仓库工具,为结构化数据的存储和分析提供了强大的SQL查询能力。然而,有时Hive内置的函数并不能满足特定的业务
python的code函数_python中的__code__
weixin_39671964的博客
12-19 2037
简单总结几个常用的__code__的用法：(1)func.__code__.co_argcount：返回函数的参数个数，这里的参数个数不包含*args与**kwargs，具体来讲就是*args前的参数。>>> def a(a,b,c,d=2,e=3,*arg,f,g=8,**kwargs):print(a,b,c,d,arg,f,g,kwargs)>>> a._...
python的code函数_python基础--函数
weixin_39692847的博客
12-19 495
#python中函数的定义:函数是逻辑结构化和过程化的一种编程方法,用来实现某些特定的功能.#python中函数简单定义的方法# def test(x):# "this is new function"# x+=1# return x#def:定义函数的关键字#test函数名#():括号内可定义形参#""文档描述(非必要,建议加上)#x+=1泛指代码块#return 定义返...
python的code函数_python-code-10
weixin_28775337的博客
12-29 777
函数作业：1、复习函数参数的使用2、实现如下功能编写用户注册函数，实现功能1、在函数内接收用户输入的用户名、密码、余额要求用户输入的用户名必须为字符串，并且保证用户输入的用户名不与其他用户重复要求用户输入两次密码，确认输入一致要求用户输入的余额必须为数字2、要求注册的用户信息全部存放于文件中importosdefread_from_db(name):"""从文件中读数据:return:"""is_...
【Python技术栈】02 Python3 Code 函数、类与继承、装饰器
E.W的博客
10-17 1078
12
新手上路必学的Python函数基础知识，全在这里了（多段代码举例）
大数据
08-14 561
导读：函数是Python中最重要、最基础的代码组织和代码复用方式。根据经验，如果你需要多次重复相同或类似的代码，就非常值得写一个可复用的函数。通过给一组Python语句一...
python的code函数_Python：如何将参数传递给函数的__code__？
weixin_34137550的博客
01-12 218
以下作品：def spam():print "spam"exec(spam.__code__)spam但是，如果垃圾邮件发生争议呢？def spam(eggs):print "spam and", eggsexec(spam.__code__)TypeError: spam() takes exactly 1 argument (0 given)给定的是，我无法访问该函数本身，而只能访问一个代码对...
Hive UDF UDTF UDAF 函数
天道酬勤的博客
10-24 658
1、UDF（时间格式转换） // 1、定义一个类继承UDF，然后添加一个方法，ecaluate，这个方法的参数和返回值类型和函数的输入输出一致 // 2、把项目打包成jar，然后放到hive的classpath下，或者add jar // 3、在hive里面新建一个funcation,然后指定到我们新建的类型 create function MyDateParser as'hadoop...
Hive--10---函数----自定义函数 (UDF-UDAF-UDTF)
时光里的博客
06-25 313
`
Hive自定义函数：UDF实践与应用
1. **定义Java类**：首先，开发者需要创建一个新的Java类，这个类通常会继承自Hive的`UDF`接口或者其子接口，以便正确地与Hive交互。 2. **重写evaluate方法**：`evaluate`方法是自定义函数的核心，它是用户自定义...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值