hive-UDF/UDTF/UDAF

已于 2022-10-23 13:16:43 修改
阅读量1.1k 收藏 4
点赞数 1
分类专栏： hive 文章标签： hive hadoop 大数据
于 2022-10-23 13:13:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaopihaierletian/article/details/127473476
版权

1.Hive三种自定义函数

1.1 UDF

UDF，即用户定义函数(user-defined function)，作用于单行数据，并且产生一个数据行作为输出。Hive中大多数函数都属于这一类，比如数学函数和字符串函数。UDF函数的输入与输出值是1:1关系。

1.2 UDTF

UDTF，即用户定义表生成函数（user-defined table-generating function），作用于单行数据，并且产生多个数据行。UDTF函数的输入与输出值是1:n的关系。

1.3 UDAF

UDAF，用户定义聚集函数（user-defined aggregate function），作用于多行数据，并且产生一个输出数据行。Hive中像COUNT、MAX、MIN和SUM这样的函数就是聚集函数。UDAF函数的输入与输出值是n:1的关系。

2.UDF自定义函数实现

2.1 使用说明

UDF函数可以直接应用于select语句，对查询结构做格式化处理后，再输出内容。

2.2 注意事项

编写UDF函数的时候需要注意一下几点：

1）自定义UDF需要继承org.apache.hadoop.hive.ql.UDF。

2）需要实现evaluate函数，evaluate函数支持重载。

3)  UDF必须要有返回类型，可以返回null，但是返回类型不能为void；

4）UDF中常用Text/LongWritable等类型，不推荐使用java类型；

2.3 添加hive依赖

<dependency>

     <groupId>org.apache.hive</groupId>

     <artifactId>hive-exec</artifactId>

     <version>2.3.8</version>

</dependency>

2.4 自定义udf

功能：输入一条用户行为json数据，提取用户uid

package com.bigdata.hive;

import org.apache.hadoop.hive.ql.exec.UDF;

import org.json.JSONObject;

public class ParseJsonUDF  extends UDF {

    public String evaluate(String line, String key){

        JSONObject baseJson = new JSONObject(line.trim());

        String result = "";

        if(baseJson.has(key)){

            return baseJson.getString(key);

        }

        return result;

    }

    public static void main(String[] args) {

        String line = "{\"userId\":9527,\"day\":\"2021-06-12\",\"begintime\":1595058161312,\"endtime\":1595058469010,\"data\":[{\"package\":\"com.browser\",\"activetime\":120000}]}";

        String userId  = new ParseJsonUDF().evaluate(line,"userId");

        System.out.println(userId);

    }

}

2.5 项目打包

通过maven对自定义udf项目打包（比如learninghive-1.0-SNAPSHOT.jar）

mvn clean package 

2.6 项目包上传至HDFS

通过hdfs 命令，将项目打好的包上传至hdfs指定目录下。

bin/hdfs dfs -put home/hadoop/shell/lib/learninghive-1.0-SNAPSHOT.jar user/hive/jars

2.7 hive中添加项目包

通过bin/hive进入hive控制台，将项目包添加到hive中。

hive> add jar hdfs://mycluster/user/hive/jars/learninghive-1.0-SNAPSHOT.jar;

2.8 创建udf 函数模板

根据自定义udf类，创建一个自定义函数名称，供后面hive SQL 使用。

hive> create temporary function json_udf as 'com.bigdata.hive.ParseJsonUDF';

2.9 创建测试表

CREATE TABLE behavior(line STRING)

ROW FORMAT DELIMITED

FIELDS TERMINATED BY '\n'

STORED AS TEXTFILE;

2.10 准备测试数据集

准备测试数据文件behavior.log，每行数据代表用户行为数据。

{"userId":9527,"day":"2021-05-12","begintime":1620785058833,"endtime":1620785217511,"data":[{"package":"com.browser","activetime":120000},{"package":"com.qq","activetime":80000}]}

{"userId":3854,"day":"2021-05-12","begintime":1620785290612,"endtime":1595058469010,"data":[{"package":"com.browser","activetime":60000},{"package":"com.qq","activetime":150000}]}

2.11 数据加载至hive表

将本地文件加载到刚刚创建的behavior表中。

LOAD DATA LOCAL INPATH '/home/hadoop/shell/data/behavior.log' INTO TABLE behavior;

2.12 应用自定义udf函数

hive> select json_udf(line,'userId')  from behavior;

可以通过自定义json_udf函数提取用户行为json数据中的用户uid。

3.UDTF自定义函数实现

3.1 使用说明

自定义UDTF需要继承org.apache.hadoop.hive.ql.udf.generic.GenericUDTF类,重新initialize, process, close三个方法：

1）UDTF首先会调用initialize()方法，此方法返回UDTF的返回行的信息（返回个数，类型）。

2）初始化完成后，会调用process()方法,真正的处理过程在process函数中，在process中，每一次forward()调用产生一行；

3）最后close()方法调用，对需要清理的方法进行清理。

3.2自定义udtf

功能：输入一条用户行为json数据，输出多条用户行为日志数据。

package com.bigdata.hive;

import groovy.json.JsonException;

import org.apache.commons.lang.StringUtils;

import org.apache.hadoop.hive.ql.exec.UDFArgumentException;

import org.apache.hadoop.hive.ql.metadata.HiveException;

import org.apache.hadoop.hive.ql.udf.generic.GenericUDTF;

import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;

import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspectorFactory;

import org.apache.hadoop.hive.serde2.objectinspector.StructObjectInspector;

import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactory;

import org.json.JSONArray;

import org.json.JSONException;

import java.util.ArrayList;

public class ParseJsonUDTF extends GenericUDTF {

    **

     * 该方法中，我们将指定输出参数的名称和参数类型

     * @param argOIs

     * @return

     * @throws UDFArgumentException

     */

    @Override

    public StructObjectInspector initialize(StructObjectInspector argOIs) throws UDFArgumentException {

        ArrayList<String> fieldNames = new ArrayList<String>();

        ArrayList<ObjectInspector> fieldOIs = new ArrayList<ObjectInspector>();

        fieldNames.add("package");

        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);

        fieldNames.add("activetime");

        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);

        return ObjectInspectorFactory.getStandardStructObjectInspector(fieldNames, fieldOIs);

    }

    **

     * 输入 1 条记录，输出 n 条记录

     * @param objects

     * @throws HiveException

     */

    @Override

    public void process(Object[] objects) throws HiveException {

        获取传入的data

        String data = objects[0].toString();

        如果传进来的数据为空，直接返回过滤掉该数据

        if(StringUtils.isBlank(data)){

            return ;

        }else{

          try {

              获取一共有几条操作记录

              JSONArray dataArray = new JSONArray(data);

              if (dataArray == null) return;

              循环遍历每个事件

              for (int i=0;i<dataArray.length();i++){

                  String[]  output = new String[2];

                  try {

                      output[0]=dataArray.getJSONObject(i).getString("package");

                      output[1]=dataArray.getJSONObject(i).getString("activetime");

                  }catch (JSONException e){

                      continue;

                  }

                  将结果返回

                  forward(output);

              }

          }catch (JSONException e){

              e.printStackTrace();

          }

        }

    }

    **

     * 当没有记录处理的时候该方法会被调用，用来清理代码或者产生额外的输出

     * @throws HiveException

     */

    @Override

    public void close() throws HiveException {

    }

}

3.3 项目打包

通过maven对自定义udf项目打包（比如learninghive-1.0-SNAPSHOT.jar）

mvn clean package 

3.4 项目包上传至HDFS

通过hdfs 命令，将项目打好的包上传至hdfs指定目录下。

bin/hdfs dfs -put home/hadoop/shell/lib/learninghive-1.0-SNAPSHOT.jar user/hive/jars

3.5 hive中添加项目包

通过bin/hive进入hive控制台，将项目包添加到hive中。

hive> add jar hdfs://mycluster/user/hive/jars/learninghive-1.0-SNAPSHOT.jar;

3.6 创建udf 函数模板

根据自定义udf类，创建一个自定义函数名称，供后面hive SQL 使用。

hive> create temporary function json_udtf as 'com.bigdata.hive.ParseJsonUDTF';

hive> create temporary function json_udf as 'com.bigdata.hive.ParseJsonUDF';

3.7 创建测试表

CREATE TABLE behavior(line STRING)

ROW FORMAT DELIMITED

FIELDS TERMINATED BY '\n'

STORED AS TEXTFILE;

3.8 准备测试数据集

准备测试数据文件behavior.log，每行数据代表用户行为数据。

{"userId":9527,"day":"2021-05-12","begintime":1620785058833,"endtime":1620785217511,"data":[{"package":"com.browser","activetime":120000},{"package":"com.qq","activetime":80000}]}

{"userId":3854,"day":"2021-05-12","begintime":1620785290612,"endtime":1595058469010,"data":[{"package":"com.browser","activetime":60000},{"package":"com.qq","activetime":150000}]}

3.9 数据加载至hive表

将本地文件加载到刚刚创建的behavior表中。

LOAD DATA LOCAL INPATH '/home/hadoop/shell/data/behavior.log' INTO TABLE behavior;

3.10应用自定义udtf函数

hive> select 

json_udf(line,'userId'),

json_udf(line,'day'),

json_udf(line,'begintime'),

json_udf(line,'endtime'),

package,

activetime 

from behavior lateral view json_udtf(json_udf

(line,'data')) tmpdata as package,activetime;

备注：与lateral view一起使用，执行过程相当于单独执行了两次抽取，然后union到一个表里。

可以通过自定义 json_udtf函数解析用户行为json数据，然后输出多条用户行为具体操作日志。

4.UDAF自定义函数实现

4.1 使用说明

1）必须继承

org.apache.hadoop.hive.ql.exec.UDAF(函数类继承)

org.apache.hadoop.hive.ql.exec.UDAFEvaluator(内部类Evaluator实现UDAFEvaluator接口)

2）Evaluator需要实现以下几个函数

init():初始化

iterate():迭代处理每一行数据

terminatePartial():输出map/reduce的阶段结果

merge():combiner/reduce对数据进行聚合

terminate():返回最终的聚集函数结果

4.2 udaf运行过程详解

UDAF 就是一个多行导成一行的聚合函数，它的过程与MR过程紧密结合

4.3 自定义udaf

功能：统计表中某一列的最大值

package com.bigdata.hive;

import org.apache.hadoop.hive.ql.exec.UDAF;

import org.apache.hadoop.hive.ql.exec.UDAFEvaluator;

import org.apache.hadoop.io.IntWritable;

public class MyMaxUDAF extends UDAF {

    static public class MaxIntEvaluator implements UDAFEvaluator {

        private int mMax;

        private boolean mEmpty;

        构造方法

        public MaxIntEvaluator() {

            super();

            init();

        }

        类似于构造函数，用于UDAF的初始化

        public void init() {

            mMax = 0;

            mEmpty = true;

        }

        迭代处理每一行数据

        public boolean iterate(IntWritable o) {

            if (o != null) {

                if (mEmpty) {

                    mMax = o.get();

                    mEmpty = false;

                } else {

                    mMax = Math.max(mMax, o.get());

                }

            }

            return true;

        }

        //输出map/reduce的阶段结果

        public IntWritable terminatePartial() {

            return mEmpty ? null : new IntWritable(mMax);

        }

        //combiner/reduce对数据进行聚合

        public boolean merge(IntWritable o) {

            return iterate(o);

        }

       //返回最终的聚集函数结果

        public IntWritable terminate() {

            return mEmpty ? null : new IntWritable(mMax);

        }

    }

}

4.4 项目打包

通过maven对自定义udf项目打包（比如learninghive-1.0-SNAPSHOT.jar）

mvn clean package 

4.5 项目包上传至HDFS

通过hdfs 命令，将项目打好的包上传至hdfs指定目录下。

bin/hdfs dfs -put /home/hadoop/shell/lib/learninghive-1.0-SNAPSHOT.jar /user/hive/jars

4.6 hive中添加项目包

通过bin/hive进入hive控制台，将项目包添加到hive中。

hive> add jar hdfs://mycluster/user/hive/jars/learninghive-1.0-SNAPSHOT.jar;

4.7 创建udf 函数模板

根据自定义udf类，创建一个自定义函数名称，供后面hive SQL 使用。

create temporary function max_udaf as 'com.bigdata.hive.MyMaxUDAF';

4.8 创建测试表

create  table  if not exists temperature 

(id string comment '气象站id',year string comment '年',temperature int comment '气温') 

comment '天气表' 

ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' 

STORED AS  TEXTFILE ;

4.9 准备测试数据集

准备测试数据文件temperature，每行数据代表气象站天气气温数据。

03103,1980,41

03103,1981,98

03103,1982,70

03103,1983,74

03103,1984,77

03103,1985,78

03103,1986,82

03103,1987,75

03103,1988,81

03103,1989,89

4.10 数据加载至hive表

将本地文件加载到刚刚创建的temperature表中。

load data local inpath '/weather/temperature' overwrite into table temperature ;

4.11 应用自定义udaf函数

select max_udaf(temperature) from temperature;

可以通过自定义max_udaf函数统计出tempera-

ture表中气温最大值。

xiaopihaierletian
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
udf，udaf，udtf区别与联系
weixin_45768572的博客
07-28 1647
udf，udaf，udtf区别与联系,结合CSDN用户-LUK流与牛客上的回答，随手整理了一份笔记
udf,udaf,udtf之间的区别
热门推荐
流的博客
04-27 1万+
1、UDF：用户定义（普通）函数，只对单行数值产生作用； 继承UDF类，添加方法 evaluate() /** * @function 自定义UDF统计最小值 * @author John * */ public class Min extends UDF { public Double evaluate(Double a, Do...
Hive自定义UDF函数及使用
小健的博客
01-30 3265
UDF全称：User-Defined Functions，即用户自定义函数，在Hive SQL编译成MapReduce任务时，执行java方法，类似于像MapReduce执行过程中加入一个插件，方便扩展。
HIVE UDF函数开发流程
a18033860865的博客
07-26 732
HIVE UDF函数开发流程。
hive udf，udaf和udtf
whdxkcx的博客
07-07 910
1.背景 我们在写hive sql 的时候经常会用到一些内置的函数，例如：max,min,substr等。当这些函数没有办法满足我们的需求的时候，该怎么办呢？我们可以通过自己写udf函数来实现内置函数无法实现的功能。 2.概述 udf函数，全称是用户自定义函数(user defined function)，就是用java 来写一些满足我们需求的函数，并可以在hive sql中使用这些函数。 从功能上看，udf函数可以分为三种： （1）udf（User defined scalar funct.
hive-exec-udf
09-19
1. **编写Java类**：实现Hive提供的特定接口，如UDF、UDAF或UDTF。 2. **添加元数据**：在Hive Metastore中注册UDF，指定函数名、输入/输出类型等信息。 3. **编译与部署**：将Java类打包成JAR文件，上传到Hadoop...
hive-udf-collections:Hive 用户定义函数 (UDF) 集合
06-22
- Hive UDFs 分为三类：UDF（单行函数），UDAF（聚合函数）和 UDTF（多行函数）。`hive-udf-collections` 主要关注 UDF。 - UDF 允许用户扩展 Hive 的功能，解决内置函数无法满足的特定需求。 - UDFs 必须用 Java...
hive-udf:hive自定义函数
05-18
hive-udfhive自定义函数主要实现hive3种自定义函数1，udf函数，主要用于处理一对一数据处理2，udtf函数，主要用于处理一对多数据处理2，udaf函数，主要用与处理多对一数据聚合处理
hive-udf-tools:hive udf 部署工具，开发工具...
07-14
hive-udf-hook UDF开发及发布过程 1 用户编写UDF实现类 2 编写完成后，在UDFHooks类中调用相关注册函数： 调用 FunctionRegistry.registerUDF 注册udf 调用 FunctionRegistry.registerUDAF 注册udaf 调用...
apache-hive-2.3.9-bin.tar大数据HIVE.zip
10-08
6. **存储过程（UDF，UDAF，UDTF）**：Hive支持用户自定义函数（UDF），用户定义聚合函数（UDAF）和用户定义表生成函数（UDTF），允许扩展Hive的功能。 7. **连接Hadoop生态系统**：Hive与Hadoop生态系统的其他组件...
UDF函数和UDTF函数的图解举例，追加UDAF函数
zhongs11的博客
07-08 891
UDF UDTF UDAF函数使用类
Hive中的UDF是什么？请解释其作用和使用方法。
jakelihua
09-11 529
Hive中的UDF是用户定义的函数，用于扩展Hive的功能并实现自定义的计算、转换和操作。在使用UDF时，我们需要编写相应的代码并将其编译成JAR文件，然后将其添加到Hive的classpath中，并在Hive中注册和使用这些UDF。这样，我们就可以根据自己的需求来扩展Hive的功能，并实现更灵活和个性化的数据处理和操作。UDF的主要作用是扩展Hive的功能，使用户能够根据自己的需求定义和使用自定义函数。在上面的例子中，我们计算了表中每个记录的描述字段的长度，并将其作为"length"列返回。
Hive-UDF、UDAF、UDTF
weixin_41227335的博客
01-14 287
1.概念： UDF： 用户定义函数 UDAF：用户定义聚合函数 UDTF：用户定义表生成函数 2.基本原理： 1.UDF： 针对一行数据，返回一个值 2.UDAF：针对多行数据，返回一个值，类似sum()、avg() 3.UDTF：一行数据可以化为多行输出。 3.UDF实现 很简单，继承UDF类就可以 /** * @funct...
hadoop的安装（linux基本命令、hadoop常用shell命令）
王小行的博客
01-09 3168
hadoop的伪分布式安装过程（包括：linux基本命令、hadoop常用shell命令）
Hive UDF UDTF UDAF 自定义函数详解
最新发布
Byyyi耀的博客
12-19 666
Hive UDF UDTF UDAF 自定义函数 详解
udf/udaf/udtf--自定义函数解决个性化场景
qq_41537880的博客
03-08 366
hive自定义函数 af&tf
flink UDF/UDAF/UDTF详解
qq_33615604的博客
03-03 2896
flink udf/udaf/udtf
Hive中自定义函数UDF、UDTF函数介绍
qq_40078490的博客
08-15 1159
Hive中自定义函数UDF、UDTF函数介绍
Hive常用函数——UDF、UDAF、UDTF、Lateral view
weixin_51104399的博客
11-18 1478
Hive的函数分为三类，分别是UDF、UDAF、UDTF，简单区分这三类函数就是。
hive udf udaf udtf区别
03-16
Hive中的UDF、UDAF和UDTF是三种不同的函数类型。 UDF（User-Defined Function）是用户自定义函数，用于对单个输入参数进行转换并返回一个输出值。 UDAF（User-Defined Aggregate Function）是用户自定义聚合函数，...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值