hive自定义UDTF函数的编写，注册和使用

最新推荐文章于 2024-11-07 16:16:05 发布
最新推荐文章于 2024-11-07 16:16:05 发布
阅读量624 收藏
点赞数
分类专栏： spark 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43363407/article/details/104662419
版权
本文详细介绍了如何编写一个名为Strsplit的Hive自定义UDTF函数，从添加POM依赖，编写Java代码，到Maven打包，将jar文件上传到集群，添加到Hive的classpath，创建并使用该函数。通过这个过程，读者可以了解到自定义Hive函数的完整流程。
摘要由CSDN通过智能技术生成 
hive在查询的时候 需要输入一行返回多行的时候，就需要写自定义UDTF函数了。
例如实现下面的功能：Line:"spark,hive,hadoop,hdfs,flink"

Strsplit(line, “,”)
返回如下：
spark
hive
hadoop
hdfs
flink

添加pom依赖

org.apache.hive
hive-exec
1.2.1

在这里插入图片描述

代码如下：
package hivefunction.cn;

import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDTF;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspectorFactory;
import org.apache.hadoop.hive.serde2.objectinspector.PrimitiveObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.StructObjectInspect

最低0.47元/天 解锁文章
hive 自定义udf udtf实现解析json数组
yy的博客
03-31 311
hive udf udtf
数仓之hive自定义UDTF函数详解
weixin_44604159的博客
11-30 2855
自定义UDTF函数
HIVE自定义UDTF函数
weixin_46429290的博客
09-02 1189
其实就是将参数列表封装成了StructObjectInspector对象，如果想要校验参数，那么通过上述的方式，可以看到，调用getAllStructFieldRefs方法，获取所有的输入列列表，遍历就可以取到参数列表了。HIVE提供了丰富的内置函数，但是对于一些复杂逻辑还是需要自定义函数来实现，对此，HIVE也提供了一些自定义的接口和类。注意在UDTF函数中，会出现传入数据异常的问题，在这里我并没有校验参数，在实际生产中是需要校验参数的。UDAF：多进一出，多对一的关系数据。顾名思义，打扫干净，下一位。
Hive:UDTF 函数
最新发布
qq_41081716的博客
11-07 678
在 Apache Hive 中，UDTF（User-Defined Table Generating Functions）是一种特殊的用户定义函数。提供了多种内置的 UDTF 函数，用于处理复杂的字符串和数据结构，以及用户可以编写自定义的 UDTF。explodejson_tupleinline多个值堆叠成多行。
自定义hive的UDTF函数
yeah_you_are的博客
07-12 278
我这里用到UDTF函数是为了将表中的一个json字段炸裂为多个字段。即一进多出。 思路 1.导入相关依赖 2.继承实现抽象类GenericUDTF。 3.调试代码。 依赖 <!-- 这是一定要导入的依赖，里面包含抽象类GenericUDTF --> <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-exec</artifactId>
Hive之UDTF函数
数据开发探索者
08-24 2083
今天分享又来了呀。ღ( ´･ᴗ･` ) 一起学习进步ღゝ◡╹)ノ♡摘要：在离线数仓过程中，有时会遇见hive自带函数不能解决的场景。此时就需要我们来自定义函数。遇见过的场景：将获取...
Hive自定义UDTF函数
QiSorry
03-11 576
导入必要的 Hive 依赖 <dependencies> <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-exec</artifactId> <version>3.1.2</version> </dependency>
hive自定义函数udtf（临时和永久函数）
zll_1234的博客
05-29 870
用户定义表生成函数 UDTF（user-defined table-generating function，UDTF） 操作作用于单个数据行，并且产生多个数据行-------一个表作为输出。lateral view explore() 1、编写自定义的udtf函数 编程思路： 继承org.apache.hadoop.hive.ql.udf.generic.GenericUDTF,实现initialize, process, close三个方法。 UDTF首先会调用initialize方法，此方法返回UDT
Hive中自定义函数UDF、UDTF函数介绍
qq_40078490的博客
08-15 1251
Hive中自定义函数UDF、UDTF函数介绍
Hive创建UDTF函数
xxydzyr的博客
09-18 355
Hive创建UDTF函数 文章目录Hive创建UDTF函数参考： 这部分不知道建一个什么样的函数，就照着网上的来了，所以就不写其他东西了 package com.chinasofti.hive.udf; import org.apache.hadoop.hive.ql.exec.UDFArgumentException; import org.apache.hadoop.hive.ql.exec...
hive: 自定义UDTF
eyeofeagle的博客
11-03 2257
在hive项目中， 有client和server通信的log日志体系如下，中间的网络传输使用的json格式，所以在server端接收时需要使用阿里的fastJSON来解析为日志聚合体LogAgg类；然后使用自定义表生成函数UDTF, 分别取出Error表, Event表，StartUp表的数据, 数据转储到各表中，完成日志的初步ETL。 所以，这个UDTF如何定义？ 类似于上篇的自定义UDF函数...
Hive UDTF开发指南
烂笔头的专栏
03-03 655
之前说过HIVE，UDF(User-Defined-Function)函数的编写和使用，现在来看看UDTF的编写和使用。 1. UDTF介绍 UDTF(User-Defined Table-Generating Functions) 用来解决 输入一行输出多行(On-to-many maping) 的需求。 2. 编写自己需要的UDTF 继承org.apache.hadoop.hive.ql.ud...
hive中udtf编写及使用
热门推荐
u012485099的博客
06-24 1万+
HIVE中udtf可以将一行转成一行多列，也可以将一行转成多行多列，使用频率较高。本篇文章通过实际案例剖析udtf的编写及使用方法和原理。阅读本篇文章前请先阅读UDF编写测试数据 drop table if exists test; create table test ( ind int, col string, col1 string ) ; inser...
hive自定义udtf函数
weixin_42529756的博客
12-10 1047
hive 自定义函数 UDTF
Hive 自定义 UDTF 函数
storm_fury
07-20 1176
继承org.apache.hadoop.hive.ql.udf.generic.GenericUDTF 重写 initialize，process 和 close方法 Hive 调用 initialize 方法来确定传入参数的类型并确定 UDTF 生成表的每个字段的数据类型（即输入类型和输出类型。initialize 方法必须返回一个生成表的字段的相应的 StructObjectIns...
Hive自定义 UDTF 函数
song_quan_的博客
12-03 907
0）需求 自定义一个 UDTF 实现将一个任意分割符的字符串切割成独立的单词，例如： 1）代码实现 2）打成 jar 包上传到服务器/opt/module/hive/data/myudtf.jar 3）将 jar 包添加到 hive 的 classpath 下 hive (default)> add jar /opt/module/hive/data/myudtf.jar; 4）创建临时函数与开发好的 java class 关联 hive (defaul...
Hive实现UDTF自定义函数
LZX的博客
10-16 396
UDTF函数特点：多行进多行出 具体实现： 继承 GenericUDF类，Override [ initialize() process() close() ]方法 UDTF首先会调用initialize方法，此方法指定输出参数的名称和参数类型; 如下event_name 、event_json都是String类型。 始化完成后，会调用process方法,真正的处理过程在process函数中，在process中，每一次forward()调用产生一行；如果产生多列可以将多个列的值放在一个数组中，然后将该数组
Hive UDF开发
QQ331948781的专栏
03-19 440
======================1 转换小写========================== hive> select * from student; OK 2 BEBETTER 1 HUANGPENG Time taken: 0.149 seconds, Fetched: 2 row(s) hive> desc student; OK id i
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值