hive 自定义实现函数

最新推荐文章于 2021-10-27 22:33:15 发布
最新推荐文章于 2021-10-27 22:33:15 发布
阅读量142 收藏
点赞数
分类专栏： hive 文章标签： hive 自定义实现函数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/simple_start/article/details/95115692
版权

自定义实现函数

java编码要求

pom.xml 和类的代码都在最下面

（1）继承于UDF类

（2）方法规定

       -a、Implement one or more methods named evaluate

           实现至少一个evaluate方法

       -b、evaluate should never be a void method.

             However it can return null if needed.

           evaluate方法的不能是一个void （无返回值）方法。如果一定没有返回值，可以是返回null 

       -c、方法的参数和返回值的类型：Java类型或者Hadoop类型。

       推荐使用Hadoop类型。

（3）打成jar包

         mvn package

 

linux

（1）打成jar包在hive命令行下使用下列命令

add jar /opt/cdh5.7.6/hive-1.1.0-cdh5.7.6/hadoop-1.0-SNAPSHOT.jar

（2）构成函数（指定数据库，只在该数据库中有效）

CREATE FUNCTION db_hive.removeQuato AS 'com.huadian.hive.udf.RemoveQuato'

create function 数据库名.方法名 a

最低0.47元/天 解锁文章
不再简简单单
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hive创建自定义函数
Arno的博客
03-28 1963
一、概述 如果hive的内置函数不够用，用户也可以自己定义函数来使用，这样的函数称为hive的用户自定义函数，简称UDF UDF使得Hive的可扩展性增强 二、实现步骤： 新建java工程，导入hive相关包，导入hive相关的lib 创建类继承UDF 自己编写一个evaluate方法，返回值和参数任意。 import org.apache.hadoop.hive.ql.exec.UDF...
hive自定义函数的实现和执行
bd2569的博客
01-03 644
1. 先建个maven工程，创建Java类，将你要实现的内容写进类的方法里， 例如public class StringExt extends UDF{   public String evaluate(String pnb){   return "Hello " + pnb;   } } 这个类的实现很简单，继承了org.apache.hadoop.hive.ql.e...
hive创建临时函数
weixin_30607029的博客
09-13 393
add jar /home/hjl/sunwg/Lower.jar; create temporary function my_lower as ‘com.example.hive.udf.Lower’; 转载于:https://www.cnblogs.com/Baronboy/p/7515057.html
hive中UDF、UDAF和UDTF使用
热门推荐
原创学无止尽
01-20 1万+
Hive进行UDF开发十分简单，此处所说UDF为Temporary的function，所以需要hive版本在0.4.0以上才可以。 一、背景：Hive是基于Hadoop中的MapReduce，提供HQL查询的数据仓库。Hive是一个很开放的系统，很多内容都支持用户定制，包括： a）文件格式：Text File，Sequence File b）内存中的数据格式： Java Intege
hive 创建函数
u013009809的专栏
03-17 225
create function transformstogaussxy as "udf.GaussXYDealHiveUdf" using jar "hdfs://cdhdev01:8020/*/*-1.0-SNAPSHOT.jar"
Hive自定义函数
01-20
Hive自定义函数 一. UDF(user defined function) 背景 系统内置函数无法解决所有的实际业务问题，需要开发者自己编写函数实现自身的业务实现诉求。 应用场景非常多，面临的业务不同导致个性化实现很多，故udf...
HIVE自定义UDF函数
最新发布
05-11
而自定义用户定义函数（UDF）是 Hive 中的一个重要功能，允许用户根据自己的需求编写自定义函数，以便在 Hive 查询中使用。 如何在 Hive 中创建自定义 UDF 函数： 步骤一：编写 Java 程序 首先，您需要编写一个 ...
hive自定义udf函数实战
01-07
udf函数，用户自定义函数，可以直接在sql语句中计算的函数 优点： 允许实现模块化的程序设计、方便修改代码、增加函数 UDF的执行速度很快，通过缓存计划在语句重复执行时降低代码的编译开销，比存储方法的执行效率...
Spark不能使用hive自定义函数.doc
03-06
Spark不能使用hive自定义函数
hive自定义函数demo
05-30
hive自定义函数demo
hive 创建自定义函数 和 hive加载说明
08-11
NULL 博文链接：https://chengjianxiaoxue.iteye.com/blog/2235666
hive从入门到实战No.3
Nikolala123的博客
10-27 695
UDAF（user defined aggregation function） 自定义udaf函数self_count，实现系统udaf count的功能 in:out=n:1,即输入N条数据，返回一条处理结果，即列转行。 最常见的系统聚合函数，如count,sum,avg,max等 实现步骤 自定义一个java类 继承UDAF类 内部定义一个静态类，实现UDAFEvaluator接口 实现方法init,iterate,terminatePartial,merge,terminate共5个方法.
hive创建java函数_创建 hive 用户自定义函数UDF,UDTF,UDAF
weixin_34193479的博客
02-27 260
1. 创建 Maven 工程org.apache.hivehive-exec2.7.5org.apache.hadoophadoop-common2.7.5org.apache.maven.pluginsmaven-compiler-plugin3.01.81.8UTF-82. 开发 Java 类集成 UDF/*** @Author hwj* @Date 2020/8/5 20:15* @Desc...
Hive - 自建函数
myt0929的专栏
06-18 1030
  Hive中和RDBMS中的语法类似也带有一些函数，方便做聚合、转化之用。如果想要显示内置函数可以使用show functions;查看。如果想要知道某个函数的用法可以使用desc function xxx;来查看用法。同样，想要详细写法就使用desc function extended xxx;来查看。 常用的内建函数 自建函数...
hive学习4：hive自定义函数
每天进步一点
10-21 1722
以创建转换字符串大小写为例： 1、搭建java项目，把hive安装包下libjar包添加进去。 2、创建转换字符串大小类，必须继承UDF类 package com.zsy.hive.udf; import org.apache.commons.lang.StringUtils; import org.apache.hadoop.hive.ql.exec.UDF; /** * 转换...
自定义hive的函数
qq_37321741的博客
07-28 163
package com.udf; import org.apache.hadoop.hive.ql.exec.UDF; public class MyConcatUdf extends UDF{ public String evaluate(String word) { if(word == null) { return "NULL"; } return word+"_...
hive自定义udaf函数
07-22
使用SparkSQL和Hive API，可以通过以下步骤实现用户自定义函数（UDF）、聚合函数（UDAF）和表生成函数（UDTF）： 1. 编写自定义函数的代码，例如： ``` // UDF def myUDF(str: String): Int = { str.length } // UDAF class MyUDAF extends UserDefinedAggregateFunction { override def inputSchema: StructType = StructType(StructField("value", StringType) :: Nil) override def bufferSchema: StructType = StructType(StructField("count", IntegerType) :: Nil) override def dataType: DataType = IntegerType override def deterministic: Boolean = true override def initialize(buffer: MutableAggregationBuffer): Unit = { buffer(0) = 0 } override def update(buffer: MutableAggregationBuffer, input: Row): Unit = { buffer(0) = buffer.getInt(0) + input.getString(0).length } override def merge(buffer1: MutableAggregationBuffer, buffer2: Row): Unit = { buffer1(0) = buffer1.getInt(0) + buffer2.getInt(0) } override def evaluate(buffer: Row): Any = { buffer.getInt(0) } } // UDTF class MyUDTF extends GenericUDTF { override def initialize(args: Array[ConstantObjectInspector]): StructObjectInspector = { // 初始化代码 } override def process(args: Array[DeferedObject]): Unit = { // 处理代码 } override def close(): Unit = { // 关闭代码 } } ``` 2. 将自定义函数注册到SparkSQL或Hive中，例如： ``` // SparkSQL中注册UDF spark.udf.register("myUDF", myUDF _) // Hive中注册UDF hiveContext.sql("CREATE TEMPORARY FUNCTION myUDF AS 'com.example.MyUDF'") // Hive中注册UDAF hiveContext.sql("CREATE TEMPORARY FUNCTION myUDAF AS 'com.example.MyUDAF'") // Hive中注册UDTF hiveContext.sql("CREATE TEMPORARY FUNCTION myUDTF AS 'com.example.MyUDTF'") ``` 3. 在SQL语句中使用自定义函数，例如： ``` -- 使用SparkSQL中的UDF SELECT myUDF(name) FROM users -- 使用Hive中的UDF SELECT myUDF(name) FROM users -- 使用Hive中的UDAF SELECT myUDAF(name) FROM users GROUP BY age -- 使用Hive中的UDTF SELECT explode(myUDTF(name)) FROM users ``` 以上就是使用SparkSQL和Hive API实现用户自定义函数（UDF、UDAF、UDTF）的步骤。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值