HiveUDF的evaluate方法使用分析

最新推荐文章于 2022-05-09 07:00:00 发布
最新推荐文章于 2022-05-09 07:00:00 发布
阅读量1.8k 收藏 1
点赞数
分类专栏： # Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44112790/article/details/119353420
版权
本文深入探讨了Hive用户自定义函数（UDF）的evaluate方法使用，从创建arguments、获取evaluate方法（包括NumericOpMethodResolver、DefaultUDFMethodResolver和ComparisonOpMethodResolver的实现）到调用evaluate的过程，以及方法匹配和参数转换的细节。并通过实例展示了evaluate方法在实际工作中的应用。
摘要由CSDN通过智能技术生成

文章目录

前言

工作中需要自己加载并使用Hive的UDF，于是学习了一下Hive的加载过程。

分析

创建arguments

org.apache.hadoop.hive.serde2.objectinspector包下面有很多类包装不同类型的参数，在evaluate的时候需要使用
在这里插入图片描述

获得evaluate

Hive在GenericUDFBridge的initialize(ObjectInspector[] arguments)中通过argumentTypeInfos获得UDF对应的evaluate方法

argumentTypeInfos是由TypeInfoUtils根据argument获得
udf是根据className创建的，而className在构造方法当中被传入

在这里插入图片描述
getEvalMethod方法在接口中没有实现，有三个子类实现了这一方法
在这里插入图片描述

NumericOpMethodResolver

获得了所有名为evaluate的方法，然后再比较参数类型选出需要的
在这里插入图片描述

DefaultUDFMethodResolver

也是先获得evaluate方法的列表，再找到参数类型匹配的方法
在这里插入图片描述

ComparisonOpMethodResolver

和上面差不多，主要是TypeInfo的处理不一样
在这里插入图片描述

调用evaluate

拿到匹配的方法后，可以通过FunctionRegistry调用invoke方法

convertIfNecessary方法会对参数进行一些转换

在这里插入图片描述
参数为DeferredObject，这是一种懒执行的策略
在这里插入图片描述

示例

这里只演示类型转换的示例

  @Test
  public void testToObjectInspector() {
   
   System.out.println(HiveUtil.toObjectInspector("String", "str"));
   System.out.println(HiveUtil.toObjectInspector("Boolean", true));
   Sys
最低0.47元/天 解锁文章
喜欢coding的谢同学
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
UDF函数自定义的两种情况
weixin_46401846的博客
03-19 468
UDF两种定义方式适用的情况
Hive UDF开发(单个参数)
快乐程序员的专栏
08-03 1283
Hive进行UDF开发十分简单，此处所说UDF为Temporary的function，所以需要hive版本在0.4.0以上才可以。 Hive的UDF开发只需要重构UDF类的evaluate函数即可。例： package com.sohu.hive.udf; import org.apache.hadoop.hive.ql.exec.UDF; public class Md5 ext
Hive 用户自定义函数UDF详解
epitomizelu的专栏
12-14 8486
本例自定义一个Hive UDF函数，功能是将从Hive数据仓库查询出来的字符串进行大小写转换。 第一步，创建java工程，添加jar包。 Ø导入Hive的lib目录下的jar包以及hadoop安装目录下的hadoop-core.jar 第二步，新建package包，包中新建java类，该类一定要继承org.apache.hadoop.hive.ql
HIVE自定义UDF函数详解
汝知否
11-12 2124
当Hive的内置函数不能满足需要时，可以通过编写用户自定义函数UDF（User-Defined Functions）插入自己的处理代码并在查询中使用它们。 按实现方式，UDF分如下分类： 普通的UDF，用于操作单个数据行，且产生一个数据行作为输出(一个输入对应一个输出)。 用户定义聚集函数UDAF（User-Defined Aggregating Functions），用于接受多个输入数据行，并产生一个输出数据行(多个输入对应一个输出)。 用户定义表生成函数UDTF(User-D
hive中自定义UDF函数
mo
06-27 536
Hive中提供了用户自定义函数，在自带的内嵌函数不能满足开发需求的时候，用户自定义函数是一个不错的选择，例如时间格式的转换等。 Hive是基于hadoop的MapReduce，提供HQL查询的数据仓库，Hive是一个开放的系统，很多内容都支持用户定制，下面介绍自定义UDF函数实现两个或者多个数相加的流程。 1).自定义类继承UDF，需要继承org.apache.hadoop.hive.ql.exec.UDF，并且需要实现evaluate函数；evaluate函数支持重载。 import org.apache
Hive内置函数和自定义函数(UDF、UDTF)
weixin_43230682的博客
07-01 747
内置函数 在Hive中查看所有的内置函数和使用方法命令： SHOW FUNCTIONS; DESCRIBE FUNCTION <function_name>; DESCRIBE FUNCTION EXTENDED <function_name>; 内置函数详情可以查看官方文档： https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF#LanguageManualUDF-Built-inOperators
dataiku hive udf
02-21
Hive UDF（User Defined Functions）则是Hive中扩展其功能的关键部分，允许用户自定义函数来处理特定的数据分析任务。"dataiku hive udf"项目提供的是一套通用的Hive UDF源码，对于那些想深入开发Hadoop Hive应用的...
base64加密解密的hive udf函数
04-08
5. 现在可以在Hive查询中使用这些UDF了。例如，对某列进行Base64加密： ```sql SELECT base64_encrypt(column_name) FROM table_name; ``` 要解密已加密的数据： ```sql SELECT base64_decrypt('ENCRYPT:' ...
hive-exec-udf
09-19
本文将详细探讨Hive执行机制以及UDF的使用和开发。 一、Hive执行引擎 Hive执行引擎负责解析用户的HQL语句，将其转化为一系列的MapReduce任务进行执行。这个过程包括以下几个步骤： 1. **语法解析**：Hive解析器将...
各种情况手机号清洗udf函数（hive impala）
12-06
5. **详细文档**：提供的详细文档应该包含UDF的使用方法，包括如何安装JAR或SO文件，如何在SQL查询中调用UDF，以及如何处理各种异常情况。此外，还应包含示例代码和预期输出，以便用户理解和应用。 6. **手机号码...
hive按月份加减udf范例
01-10
为了实现这样的UDF，我们首先需要创建一个Java类，该类继承自Hive的`org.apache.hadoop.hive.ql.udf.generic.GenericUDF`类，并重写必要的方法，如`evaluate()`。在这个`evaluate()`方法中，我们将处理输入日期...
Hive UDF使用
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
04-11 2121
UDF：用户自定义函数，在java中写函数，打成jar，在hive中添加jar，在hql中使用该函数， UDF函数开发 标准函数（UDF）：以一行数据中的一列或者多列数据作为参数然后返回解雇欧式一个值的函数，同样也可以返回一个复杂的对象，例如array，map，struct。 聚合函数(UDAF)：接受从零行到多行的零个到多个列，然后返回单一值。例如sum函数。 生成函数（UDTF）:接受...
Hive基本原理（修订版）
qq_34993631的博客
11-22 346
Hive的本质是一个翻译器。它的任务就是将一种类SQL（HQL）的语句翻译成Mapreduce任务，通过执行Mapreduce任务来对海量数据仓库进行处理。从表面上来看它就是一个数据仓库能够查询与分析数据。它与Hadoop的关系如下图所示： 与传统数据库相比Hive的主要特点为： ①分析离线存储数据，不具有实时性 ②不支持事务，由于是历史数据所以没有必要去增删改。 ③不支持修改，由于是...
编写UDF函数
m0_47002117的博客
09-23 868
1.Java继承UDF类编写udf函数(evaluate()) 2.打fat包(包括所有依赖文件) 3.把jar包放到Linux上 –临时udf函数 4.在hive命令行中使用add jar jar包路径即可 加载到临时系统中 如add jar /root/testudf.jar 5.create temporary function 如:create temporary function demo as 'hh.testudf.TestUDF'; –永久udf函数 4.在linux命令行使用hdfs命令把
hive基础知识
sd116460的博客
11-29 518
进公司实习，第一个任务就是自学hive。。。。 知识点总结帮助自己学习 Hive -语法： 非关系型数据库语言，语言逻辑与MySQL大致相似，但是要求能够更加严格一点。 hive&gt; ALTER TABLE student1 ADD COLUMNS       &gt; (address STRING,grade STRING); 在添加属性的时候，需要添加columns关键字（列...
hive自定义udf函数超详细版（可变参数传参）
不朽的少年有着放肆的梦
06-25 2347
1、创建maven项目，添加pom依赖,版本应与hive版本保持一致。 <?xml version="1.0" encoding="UTF-8"?>xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http...
Hive基础 (一)
weixin_30576859的博客
06-22 115
Hive 概念 Hive是一个SQL解析引擎，也就是说Hive本身是没有存储数据以及对数据进行计算处理的能力的，它是一种MapReduce和Hadoop的封装，由Hadoop提供数据存储能力，由MapReduce提供计算能力。Hive的出现，让很多只懂SQL的工程师也可以操作大量需要具备Java能力才可以进行的MapReduce作业。 因此MapReduce和Hadoop的特点也就一并带给了Hiv...
Hive 函数
chooser007的博客
06-27 77
hive 内置操作符和函数或者 UDF 一、内置运算符 1、关系运算符 运算符 类型 说明 A = B 所有原始类型 如果A与B相等,返回TRUE,否则返回FALSE A == B 无 失败，因为无效的语法。 SQL使用”=”，不使用”==”。 A <> B 所有原始类.
Hive自定义UDF，继承GenericUDF类，如何处理传入的参数类型是否合理
weixin_46429290的博客
05-09 2704
Hive自定义UDF，继承GenericUDF类 内容目录Hive自定义UDF，继承GenericUDF类一、自定义UDF的步骤：二、实现UDF三、总代码四、测试四、总结 实现两个int类型计算，返回百分比 itp(1,2) – > return 50% 一、自定义UDF的步骤： 自定义类继承GenericUDF public class IntToPrecent extends GenericUDF{} 实现三个方法：initialize() evaluate() getDisp
hive udf函数
最新发布
09-09
Hive UDF (User-Defined Function) 是 Hive 中自定义函数的一种形式。UDF 允许用户根据自己的需求来扩展 Hive 的功能，以便实现定制化的计算和处理。通过编写 UDF，用户可以在 Hive 中使用自定义的函数，这些函数可以在查询中被调用，以实现特定的功能。 UDF 可以用来进行各种操作，如字符串处理、数学计算、日期解析等。用户可以使用 Java 或者其他编程语言来编写自己的 UDF，并将其注册到 Hive 中供使用。 以下是一个简单的示例，展示如何创建一个自定义的 UDF： ```java import org.apache.hadoop.hive.ql.exec.UDF; import org.apache.hadoop.io.Text; public class CustomUDF extends UDF { public Text evaluate(Text input) { if (input == null) { return null; } // 在这里编写自定义的逻辑 // 例如，将字符串转换为大写 return new Text(input.toString().toUpperCase()); } } ``` 编译和打包这个代码并将其放在 Hive 的 CLASSPATH 中后，你可以在 Hive 查询中使用这个自定义的 UDF： ```sql ADD JAR /path/to/custom-udf.jar; CREATE TEMPORARY FUNCTION custom_udf AS 'com.example.CustomUDF'; -- 使用自定义的 UDF SELECT custom_udf(column_name) FROM table_name; ``` 这样就可以在 Hive 查询中调用自定义的 UDF 函数来处理数据了。请注意，这只是一个简单的示例，实际使用中可能需要更复杂的逻辑和参数处理。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值