Hive-编写UDTF函数一进多出(详细教程~~~)

最新推荐文章于 2024-05-04 11:36:31 发布
最新推荐文章于 2024-05-04 11:36:31 发布
阅读量650 收藏 2
点赞数 1
分类专栏： Hive 文章标签： hive big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43586713/article/details/120843272
版权

创建项目的话,和之前写UDF函数的流程是一样的,如果不懂的,看这篇文章:
HIVE-编写UDF函数

在包udf中再创建一个MyUDTF类,继承UDTF函数,实现接口:

package com.atguigu.udf;

import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDTF;

public class MyUDTF extends GenericUDTF {
    public void process(Object[] args) throws HiveException {
        
    }

    public void close() throws HiveException {

    }
}

按提示所实现的方法有两个,其实不够,还要把初始化方法给他加上。

package com.atguigu.udf;

import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDTF;
import org.apache.hadoop.hive.serde2.objectinspector.StructObjectInspector;

/**
 * 输入数据,hello,atguigu,hive
 * 输出数据:
 *  hello
 *  atguigu
 *  hive
 */
public class MyUDTF extends GenericUDTF {
    public StructObjectInspector initialize(StructObjectInspector argOIs) throws UDFArgumentException {
        return super.initialize(argOIs);
    }

    //处理输入数据
    public void process(Object[] args) throws HiveException {

    }
    //收尾方法
    public void close() throws HiveException {

    }
}

完成的业务代码:

package com.atguigu.udf;

import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDTF;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspectorFactory;
import org.apache.hadoop.hive.serde2.objectinspector.StructObjectInspector;

import java.util.ArrayList;
import java.util.List;

/**
 * 输入数据,hello,atguigu,hive
 * 输出数据:
 *  hello
 *  atguigu
 *  hive
 */
public class MyUDTF extends GenericUDTF {

    //输出数据的集合
    private  ArrayList<String> outPutList= new ArrayList<String>();

    public StructObjectInspector initialize(StructObjectInspector argOIs) throws UDFArgumentException {
        //输出数据的默认别名,可以被别名覆盖
        List<String> fieldNames=new ArrayList<String>();
        fieldNames.add("word");

        //输出数据的类型
        List<ObjectInspector> fieldOIs = new ArrayList<ObjectInspector>();

        //最终返回值
        return ObjectInspectorFactory.getStandardStructObjectInspector(fieldNames, fieldOIs);
    }

    //处理输入数据:hello,atguigu,hive
    public void process(Object[] args) throws HiveException {
        //1.取出输入数据
        String input=args[0].toString();

        //2.按照","分割字符串
        String[] words = input.split(",");

        //3.遍历数据写出
        for (String word : words) {
            //清空集合
            outPutList.clear();

            //将数据放入集合
            outPutList.add(word);

            //输出数据
            forward(outPutList);
        }
    }
    //收尾方法
    public void close() throws HiveException {

    }
}

进行打包,重新拖入到hive的lib目录下:
添加到类路径:

hive (default)> add jar /opt/module/hive/lib/hive-demo-1.0-SNAPSHOT.jar
              > ;
Added [/opt/module/hive/lib/hive-demo-1.0-SNAPSHOT.jar] to class path
Added resources: [/opt/module/hive/lib/hive-demo-1.0-SNAPSHOT.jar]

创建函数:

hive (default)> create temporary function myudtf as "com.atguigu.udf.MyUDTF"; 
OK
Time taken: 0.733 seconds

注意:如果出现问题的话,怎么试都没法成功,就去重新启动hive
input表的数据:

hello,spark
hello,hive
hello,zhoujielun,linjunjie,dengziqi
hello,hadoop,mapreduce,yarn,common

创建表:

hive (default)>  create table input(words string) ;

加载数据进去:

load data local inpath '/opt/module/datas/input.txt'
into table input;

查看数据:

hive (default)> select * from input;
OK
input.words
hello,spark
hello,hive
hello,zhoujielun,linjunjie,dengziqi
hello,hadoop,mapreduce,yarn,common
Time taken: 1.386 seconds, Fetched: 4 row(s)

使用UDTF函数:

hive (default)> select my_udtf(words) from input;
OK
word
hello
spark
hello
hive
hello
zhoujielun
linjunjie
dengziqi
hello
hadoop
mapreduce
yarn
common
Time taken: 3.788 seconds, Fetched: 13 row(s)

实现了分割逗号,一进多出的效果。
上面这个UDTF函数只能够分割逗号,没法分割其他符合,如果想实现根据我传入的符号进行分割,可以对上面的代码坐下 修改:

package com.atguigu.udf;

import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDTF;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspectorFactory;
import org.apache.hadoop.hive.serde2.objectinspector.StructObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactory;

import java.util.ArrayList;
import java.util.List;

/**
 * 输入数据,hello,atguigu,hive
 * 输出数据:
 *  hello
 *  atguigu
 *  hive
 */
public class MyUDTF extends GenericUDTF {

    //输出数据的集合
    private  ArrayList<String> outPutList= new ArrayList<String>();

    public StructObjectInspector initialize(StructObjectInspector argOIs) throws UDFArgumentException {
        //输出数据的默认别名,可以被别名覆盖
        List<String> fieldNames=new ArrayList<String>();
        fieldNames.add("word");

        //输出数据的类型
        List<ObjectInspector> fieldOIs = new ArrayList<ObjectInspector>();
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        //最终返回值
        return ObjectInspectorFactory.getStandardStructObjectInspector(fieldNames, fieldOIs);
    }

    //处理输入数据:hello,atguigu,hive
    public void process(Object[] args) throws HiveException {
        //1.取出输入数据
        String input=args[0].toString();
        String splitCharater = args[1].toString();
        //2.按照","分割字符串
        String[] words = input.split(splitCharater);

        //3.遍历数据写出
        for (String word : words) {
            //清空集合
            outPutList.clear();

            //将数据放入集合
            outPutList.add(word);

            //输出数据
            forward(outPutList);
        }
    }
    //收尾方法
    public void close() throws HiveException {

    }
}

再重新测试:

hive (default)> select my_udtf(words,',') from input;
OK
word
hello
spark
hello
hive
hello
zhoujielun
linjunjie
dengziqi
hello
hadoop
mapreduce
yarn
common
Time taken: 0.429 seconds, Fetched: 13 row(s)


hive (default)> select my_udtf(words,'hello') from input;
OK
word

,spark

,hive

,zhoujielun,linjunjie,dengziqi

,hadoop,mapreduce,yarn,common
Time taken: 0.539 seconds, Fetched: 8 row(s)

实现可以根据自己输入的分隔符来进行分割。

上面是通过UDTF实现分割的功能,接下来通过Hive来实现wordCount的功能,数据的话还是采用input表里面的数据:
第一步,对其进行炸裂:

 select explode(split(words,',')) word  from input;

这个语句和上面UDTF所实现的功能是一样的,结果如下:
在这里插入图片描述
实现完这个上面的结果之后,就要炸裂出来的结果进行分组,将单词相同的分成一组,所以对explode炸裂出来的结果取个别名, 对这个别名进行group by分组, 再count(*),就求出每个单词的个数:

select word,count(*) 
from  
(select explode(split(words,',')) word  from input)t1
group by word;

结果如下:

word	_c1
common	1
dengziqi	1
hadoop	1
hello	4
hive	1
linjunjie	1
mapreduce	1
spark	1
yarn	1
zhoujielun	1
Time taken: 36.758 seconds, Fetched: 10 row(s)
梦里Coding
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
开发HIVE的UDTF自定义函数
05-19 2853
[Author]: kwu -- UDTF(User-Defined Table-Generating Functions) 用来解决 输入一行输出多行(On-to-many maping) 的需求，开发HIVE的UDTF自定义函数具体步骤如下：
hive自定义函数udtf（临时和永久函数）
zll_1234的博客
05-29 769
用户定义表生成函数 UDTF（user-defined table-generating function，UDTF） 操作作用于单个数据行，并且产生多个数据行-------一个表作为输出。lateral view explore() 1、编写自定义的udtf函数 编程思路： 继承org.apache.hadoop.hive.ql.udf.generic.GenericUDTF,实现initialize, process, close三个方法。 UDTF首先会调用initialize方法，此方法返回UDT
[Hive]表生成函数(UDTF)使用指南
lehsyh的专栏
04-23 972
UDTF是User-Defined Table-Generating Functions 的缩写，即用户定义的表生成函数。UDTF 用于从原始表中的一行生成多行数据。典型的 UDTF有EXPLODE、posexplode等函数，它能将array或者map展开。表生成函数和聚合函数是相反的，表生成函数可以把单列扩展到多列。表生成函数：可以理解为一个函数可以生成一个表。
hive学习笔记之十一：UDTF
最新发布
2401_84048621的博客
05-04 654
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。深知大多数Java工程师，想要提升技能，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
Hive常用函数——UDF、UDAF、UDTF、Lateral view
weixin_51104399的博客
11-18 1438
Hive的函数分为三类，分别是UDF、UDAF、UDTF，简单区分这三类函数就是。
hive udtf 输入一列返回多行多列
weixin_34308389的博客
06-15 794
之前说到了hive udf，见https://blog.csdn.net/liu82327114/article/details/80670415 UDTF(User-Defined Table-Generating Functions) 用来解决 输入一行输出多行(On-to-many maping) 的需求。   继承org.apache.hadoop.hive.ql.udf.generic....
hive-udf:hive自定义函数
05-18
hive-udfhive自定义函数主要实现hive3种自定义函数1，udf函数，主要用于处理一对一数据处理2，udtf函数，主要用于处理一对多数据处理2，udaf函数，主要用与处理多对一数据聚合处理
大数据学习：Hive函数.pdf
12-07
Hive函数学习指南 Hive是一个基于Hadoop的数据仓库工具，用于存储、...Hive也支持用户自定义函数，可以根据实际使用场景编写函数，如UDF、UDTF和UDAF。用户可以使用Java语言实现自定义函数，然后在Hive中注册和使用。
hive-笔记.docx
05-15
Hive 提供了丰富的内置函数，同时也允许用户编写 UDF、UDAF（用户定义的聚合函数）和 UDTF（用户定义的转换函数），以处理各种复杂的数据分析任务。此外，Hive 还支持分区和桶，这些特性有助于优化查询性能，尤其是...
hive-udf-tools:hive udf 部署工具，开发工具...
07-14
让hive自动加载udf包（该过程只需要一次执行，目前适应于hive-0.13.1环境） 1 如果hive-site.xml文件没有配置如下属性，则需要添加该属性，如果已经存在则省略此过程 <name>hive.exec.driver.run.hooks <value>...
第5章：Hive函数重要应用案例1
08-08
`lateral view`是Hive中的一个功能，用于对一列中的集合元素进行展开，可以配合UDTF（用户定义的转换函数）一起使用，将一行数据转化为多行。 ### 2.7 行列转换函数 Hive提供`stack()`函数进行行列转换，将列数据...
Hive学习之路 （二十四） UDF函数之UDTF（一出多）
sheep8521的博客
07-26 2196
之前说到了hive udf，见https://blog.csdn.net/liu82327114/article/details/80670415UDTF(User-Defined Table-Generating Functions) 用来解决 输入一行输出多行(On-t...
hive一行数据中一列拆分成多行
热门推荐
卓如的诗意程序
05-12 1万+
本文转载自：http://blog.csdn.net/winnerspring/article/details/44677505lateral view用于和split、explode等UDTF一起使用的，能将一行数据拆分成多行数据，在此基础上可以对拆分的数据进行聚合，lateral view首先为原始表的每行调用UDTF，UDTF会把一行拆分成一行或者多行，lateral view在把结果组合，产
Hive常用函数、列转行与行转列、开窗函数、UDF、UDTF
m0_51691291的博客
11-28 848
Hive函数、开窗函数、UDF、UDTF1、系统内置函数2、常用函数2.1、关系运算2.2、数值运算2.3、条件函数2.4、日期函数2.5、字符串函数2.6、Hive求WordCount3、列转行4、行转列5、窗口函数5.1、常用窗口函数5.2、测试row_number()、rank()等函数5.3、测试lag、lead等函数6、window字句（窗口帧）与with字句6.1、window字句6.2、window字句使用6.3、with字句7、自定义函数7.1、UDF函数：一进一出7.2、UDTF函数：一进
Hive SQL 行转列 和 列转行 1列转多列 函数和示例
终码一生
09-27 2699
起因 最近收到一个需求，做一张宽表的清洗处理，基于一张表格做条件，于是便把表格直接抽为一张字典表，用于对基础数据做match匹配。表格数据如下： 整理后表数据如下（仅作演示，省略了其他条件字段）： hive> select arch_value, industry from dim.company_arch_value_condition_tag limit 10; OK 高 IT互联网_IT信息技术 高 金融_银行业|金融_保险业|金融_资本市场_证券期货 高 教育 高 商贸 高 （除上
Hive实现UDTF自定义函数
zp17834994071的博客
06-23 1528
上一篇说到UTD函数，今天就说下UDTF自定义函数 UDTF和UDF不同点在于，UDTF是一对多，而UDF是一对一； UDTF(User-Defined Table-Generating Function):用户定义表生成函数，用来解决输入一行，输出多行的场景。 编写UDTF需要继承GenericUDTF类,然后重写initialize方法和process方法和close方法 方法用途： initialize方法主要是初始化返回的列和返回的列类型 process方法对输入的每一行进行操作, 他通过调用for
头歌educoder Hive自定义函数
qq_56857828的博客
11-09 4225
自定义函数就是除了系统提供给你的函数，你自己去定义的函数。我们需要设置函数的作用、参数、返回值，然而Hive中支持的常见自定义函数有三种，分别是UDF、UDAF、UDTF。
Hive UDTF开发指南
烂笔头的专栏
03-03 619
之前说过HIVE，UDF(User-Defined-Function)函数的编写和使用，现在来看看UDTF的编写和使用。 1. UDTF介绍 UDTF(User-Defined Table-Generating Functions) 用来解决 输入一行输出多行(On-to-many maping) 的需求。 2. 编写自己需要的UDTF 继承org.apache.hadoop.hive.ql.ud...
hive的udtf函数一（lateral view explode源码解析）
zll_1234的博客
05-25 950
hive的udtf函数二 (lateral view explode源码分析) Lateral view与UDTF函数一起使用，UDTF对每个输入行产生0或者多个输出行。Lateral view首先在基表的每个输入行应用UDTF，然后连接结果输出行与输入行组成拥有指定表别名的虚拟表。 测试SQL： explain select c1 as mlike from person_info lateral view explode(likes)t1 as c1; 下图是上面SQL的hive执行任务：对每一步进行
编写Java代码，实现hive UDTF函数，函数需要传入两个参数
06-06
好的，我可以为你编写Java代码实现hive UDTF函数，函数需要传入两个参数。以下是示例代码： ```java import org.apache.hadoop.hive.ql.exec.UDFArgumentException; import org.apache.hadoop.hive.ql.exec.UDFArgumentLengthException; import org.apache.hadoop.hive.ql.metadata.HiveException; import org.apache.hadoop.hive.ql.udf.generic.GenericUDTF; import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector; import org.apache.hadoop.hive.serde2.objectinspector.StructObjectInspector; import org.apache.hadoop.io.Text; import java.util.ArrayList; public class MyUDTF extends GenericUDTF { @Override public StructObjectInspector initialize(ObjectInspector[] args) throws UDFArgumentException { // 检查参数个数是否正确 if (args.length != 2) { throw new UDFArgumentLengthException("MyUDTF函数需要传入两个参数"); } // 检查参数类型是否正确 if (!args[0].getCategory().equals(ObjectInspector.Category.PRIMITIVE) || !args[1].getCategory().equals(ObjectInspector.Category.PRIMITIVE)) { throw new UDFArgumentException("MyUDTF函数需要传入两个原始类型参数"); } // 定义输出列名和类型 ArrayList<String> fieldNames = new ArrayList<String>(); ArrayList<ObjectInspector> fieldOIs = new ArrayList<ObjectInspector>(); fieldNames.add("output_col1"); fieldNames.add("output_col2"); fieldOIs.add(args[0]); fieldOIs.add(args[1]); return ObjectInspectorFactory.getStandardStructObjectInspector(fieldNames, fieldOIs); } @Override public void process(Object[] args) throws HiveException { Text input1 = (Text) args[0]; Text input2 = (Text) args[1]; // 处理逻辑 String output1 = input1.toString() + "_processed"; String output2 = input2.toString() + "_processed"; // 输出结果 forward(new Object[]{output1, output2}); } @Override public void close() throws HiveException { // 关闭操作 } } ``` 这是一个简单的示例代码，你可以根据自己的需求进行修改和补充。在使用过程中，需要将该代码编译成 jar 包，并在 Hive 中注册该 UDTF 函数，才能够使用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

梦里Coding

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值