Hive常用函数与自定义函数

最新推荐文章于 2023-11-24 00:05:23 发布
最新推荐文章于 2023-11-24 00:05:23 发布
阅读量192 收藏
点赞数
分类专栏： hive 文章标签： 大数据 hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42796403/article/details/110346778
版权

Hive常用函数与自定义函数

目录

一、系统内置函数

1）查看系统自带的函数

hive> show functions;

2）显示自带的函数的用法

hive> desc function upper;

3）详细显示自带的函数的用法

hive> desc function extended upper;

二、常用内置函数

2.1 空字段赋值

函数说明：
NVL：给值为NULL的数据赋值，它的格式是NVL( value，default_value)。它的功能是如果value为NULL，则NVL函数返回default_value的值，否则返回value的值，如果两个参数都为NULL ，则返回NULL。

2.2 CASE WHEN判断

函数说明：
用法：CASE 字段 WHEN 判断条件 THEN 进行的操作 ELSE 不满足条件进行的操作 END
对某一字段进行按条件操作，类似于java中的if…else…

2.3 行转列(拼接函数)

1）相关函数说明
CONCAT(string A/col, string B/col…)：返回输入字符串连接后的结果，支持任意个输入字符串;
CONCAT_WS(separator, str1, str2,…)：它是一个特殊形式的 CONCAT()。第一个参数剩余参数间的分隔符。分隔符可以是与剩余参数一样的字符串。如果分隔符是 NULL，返回值也将为 NULL。这个函数会跳过分隔符参数后的任何 NULL 和空字符串。分隔符将被加到被连接的字符串之间;
注意：CONCAT_WS must be "string or array"
COLLECT_SET(col)：函数只接受基本数据类型，它的主要作用是将某字段的值进行去重汇总，产生array类型字段。
COLLECT_LIST(col)：函数只接受基本数据类型，它的主要作用是将某字段的值进行不去重汇总，产生array类型字段。

SELECT t1.c_b , CONCAT_WS("|",collect_set(t1.name))
FROM (
	SELECT NAME ,CONCAT_WS(',',constellation,blood_type) c_b
	FROM person_info
)t1 
GROUP BY t1.c_b

2.4 列转行

1）函数说明
Split(str, separator)：将字符串按照后面的分隔符切割，转换成字符array。
EXPLODE(col)：将hive一列中复杂的array或者map结构拆分成多行。

LATERAL VIEW
用法：LATERAL VIEW udtf(expression) tableAlias AS columnAlias
解释：lateral view用于和split, explode等UDTF一起使用，它能够将一行数据拆成多行数据，在此基础上可以对拆分后的数据进行聚合。
lateral view首先为原始表的每行调用UDTF，UTDF会把一行拆分成一或者多行，lateral view再把结果组合，产生一个支持别名表的虚拟表。
lateral view用于维持查询表和炸开后虚拟表的联系

#按需求查询数据
SELECT movie,category_name 
FROM movie_info 

lateral VIEW
explode(split(category,",")) movie_info_tmp  AS category_name ;

2.5 窗口函数（开窗函数）

1）相关函数说明
OVER()：指定分析函数工作的数据窗口大小，这个数据窗口大小可能会随着行的变而变化。
ROWS BETWEEN 行开始位置 AND 行结束位置
CURRENT ROW：当前行
n PRECEDING：往前n行数据
n FOLLOWING：往后n行数据
UNBOUNDED：无边界
UNBOUNDED PRECEDING 前无边界，表示从前面的起点，
UNBOUNDED FOLLOWING后无边界，表示到后面的终点

LAG(col,n,default_val)：往前第n行数据
LEAD(col,n, default_val)：往后第n行数据
FIRST_VALUE (col,true/false)：当前窗口下的第一个值，第二个参数为true，跳过空值
LAST_VALUE (col,true/false)：当前窗口下的最后一个值，第二个参数为true，跳过空值
NTILE(n)：把有序窗口的行分发到指定数据的组中，各个组有编号，编号从1开始，对于每一行，NTILE返回此行所属的组的编号。注意：n必须为int类型。

#按需求查询数据
#（1）查询在2017年4月份购买过的顾客及总人数
select name,count(*) over () 
from business 
where substring(orderdate,1,7) = '2017-04' 
group by name;


#（2）查询顾客的购买明细及月购买总额
select
	name,
	orderdate,
	cost,
	sum(cost) over(partition by name,month(orderdate)) name_month_cost
from business;


#（3）将每个顾客的cost按照日期进行累加
select name,orderdate,cost, 
	sum(cost) over() as sample1,--所有行相加 
	sum(cost) over(partition by name) as sample2,--按name分组，组内数据相加 
	sum(cost) over(partition by name order by orderdate) as sample3,--按name分组，组内数据累加 
	sum(cost) over(partition by name order by orderdate rows between UNBOUNDED PRECEDING and current row ) as sample4 ,--和sample3一样,由起点到当前行的聚合 
	sum(cost) over(partition by name order by orderdate rows between 1 PRECEDING and current row) as sample5, --当前行和前面一行做聚合 
	sum(cost) over(partition by name order by orderdate rows between 1 PRECEDING AND 1 FOLLOWING ) as sample6,--当前行和前边一行及后面一行 
	sum(cost) over(partition by name order by orderdate rows between current row and UNBOUNDED FOLLOWING ) as sample7 --当前行及后面所有行 
from business;

#rows必须跟在Order by 子句之后，对排序的结果进行限制，使用固定的行数来限制分区中的数据行数量


#（4）查询顾客购买明细以及上次的购买时间和下次购买时间
select 
	name,orderdate,cost,
	lag(orderdate,1,'1970-01-01') over(PARTITION by name order by orderdate) prev_time,
	lead(orderdate,1,'1970-01-01') over(PARTITION by name order by orderdate) next_time
from business;


#（5）查询顾客每个月第一次的购买时间 和 每个月的最后一次购买时间
select
	name,
	orderdate,
	cost,
	FIRST_VALUE(orderdate) over(partition by name,month(orderdate) order by orderdate rows between UNBOUNDED PRECEDING and UNBOUNDED FOLLOWING) first_time,
	LAST_VALUE(orderdate) over(partition by name,month(orderdate) order by orderdate rows between UNBOUNDED PRECEDING and UNBOUNDED FOLLOWING) last_time
from business;


#（6）查询前20%时间的订单信息
select * from (
    select name,orderdate,cost, ntile(5) over(order by orderdate) sorted
    from business
) t
where sorted = 1;

2.6 排序函数

函数说明
RANK() 排序相同时会重复(考虑并列,会跳号)，总数不会变
DENSE_RANK() 排序相同时会重复(考虑并列,不跳号)，总数会减少
ROW_NUMBER() 会根据顺序计算(不考虑并列,不跳号,行号)

select name,
	subject,
	score,
	rank() over(partition by subject order by score desc) rp,
	dense_rank() over(partition by subject order by score desc) drp,
	row_number() over(partition by subject order by score desc) rmp
from score;

三、自定义函数

  1. Hive 自带了一些函数，比如：max/min等，但是数量有限，自己可以通过自定义UDF来方便的扩展。
  2. 当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF：user-defined function）。
  3. 根据用户自定义函数类别分为以下三种：
    （1）UDF（User-Defined-Function）
    一进一出
    （2）UDAF（User-Defined Aggregation Function）
    用户自定义聚合函数，多进一出
    类似于：count/max/min
    （3）UDTF（User-Defined Table-Generating Functions）
    用户自定义表生成函数，一进多出
    如lateral view explode()
  4. 官方文档地址
    https://cwiki.apache.org/confluence/display/Hive/HivePlugins
  5. 编程步骤：

（1）继承Hive提供的类
org.apache.hadoop.hive.ql.udf.generic.GenericUDF
org.apache.hadoop.hive.ql.udf.generic.GenericUDTF;
（2）实现类中的抽象方法
（3）在hive的命令行窗口创建函数

#添加jar 
add jar linux_jar_path
#创建function
create [temporary] function [dbname.]function_name AS class_name;

（4）在hive的命令行窗口删除函数

drop [temporary] function [if exists] [dbname.]function_name;

四、自定义UDF函数

4.1 编写udf函数

0）需求:
自定义一个UDF实现计算给定字符串的长度，例如：

hive(default)> select my_len("abcd");
4

1）创建一个Maven工程Hive
2）导入依赖

<dependencies>
		<dependency>
			<groupId>org.apache.hive</groupId>
			<artifactId>hive-exec</artifactId>
			<version>3.1.2</version>
		</dependency>
</dependencies>

3）创建一个类

package com.hadoop.hive.udf;

import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.exec.UDFArgumentLengthException;
import org.apache.hadoop.hive.ql.exec.UDFArgumentTypeException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDF;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactory;

/**
 * 自定义UDF函数，需要继承GenericUDF类
 * 需求: 计算指定字符串的长度
 */
public class MyLength extends GenericUDF {
    /**
     * 初始化方法,里面要做三件事
     * 1.约束函数传入参数的个数
     * 2.约束函数传入参数的类型
     * 3.约束函数返回值的类型
     * @param arguments  函数传入参数的类型
     * @return
     * @throws UDFArgumentException
     */
    @Override
    public ObjectInspector initialize(ObjectInspector[] arguments) throws UDFArgumentException {
        //1.约束函数传入参数的个数
        if (arguments.length != 1) {
            throw new UDFArgumentLengthException("Input Args Num Error,You can only input one arg...");
        }
        //2.约束函数传入参数的类型
        if (!arguments[0].getCategory().equals(ObjectInspector.Category.PRIMITIVE)) {
            throw new UDFArgumentTypeException(0,"Input Args Type Error,You can only input PRIMITIVE Type...");
        }
        //3.约束函数返回值的类型
        return PrimitiveObjectInspectorFactory.javaIntObjectInspector;
    }

    /**
     * 函数逻辑处理方法
     * @param arguments  函数传入参数的值
     * @return
     * @throws HiveException
     */
    @Override
    public Object evaluate(DeferredObject[] arguments) throws HiveException {
        //获取函数传入参数的值
        Object o = arguments[0].get();
        //将object转换成字符串
        int length = o.toString().length();
        //因为在上面的初始化方法里面已经对函数返回值类型做了约束,必须返回一个int类型
        //所以我们要在这个地方直接返回length
        return length;
    }

    /**
     * 返回显示字符串方法,这个方法不用管,直接返回一个空字符串
     * @param children
     * @return
     */
    @Override
    public String getDisplayString(String[] children) {
        return "";
    }
}

4.2 创建临时函数

（1）打成jar包上传到服务器/opt/module/hive/datas/myudf.jar
（2）将jar包添加到hive的classpath，临时生效

hive (default)> add jar /opt/module/hive/datas/myudf.jar;

（3）创建临时函数与开发好的java class关联

hive (default)> create temporary function my_len as "com.hadoop.hive.udf.MyLength";

（4）即可在hql中使用自定义的临时函数

hive (default)> select ename,my_len(ename) ename_len from emp;

（5）删除临时函数

hive (default)> drop  temporary function my_len;

注意：临时函数只跟会话有关系，跟库没有关系。只要创建临时函数的会话不断，在当前会话下，任意一个库都可以使用，其他会话全都不能使用。

4.3 创建永久函数

  1. 在HIVE家目录下面创建auxlib目录
[hadoop@hadoop102 hive]$ mkdir auxlib
  1. 将jar包上传到$HIVE_HOME/auxlib下，然后重启hive
  2. 创建永久函数
hive (default)> create function 自定义函数名  as "udf方法的全类名";
  1. 在hql中使用自定义的永久函数
hive (default)> select ename,my_len2(ename) ename_len from emp;
  1. 删除永久函数
hive (default)> drop function my_len2;

注意：永久函数跟会话没有关系，创建函数的会话断了以后，其他会话也可以使用。
永久函数创建的时候，在函数名之前需要自己加上库名，如果不指定库名的话，会默认把当前库的库名给加上。
永久函数使用的时候，需要在指定的库里面操作,或者在其他库里面使用的话加上 库名.函数名

大数据面壁者
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Less
01-07
Less基础 css存在的弊端 css是一门非程序式与语言，没有变量、函数、scope（作用域）等概念 css需要书写大量看似没有逻辑的代码，css冗余度是比较高的 不方便维护和扩展，不利于复用 css没有很好的计算能力 非前端开发工程师，往往因为缺少css编写经验而很难写出组织良好且易于维护的css代码项目 Less介绍 Less是一门css预处理语言，它扩展了css的动态特性。在css的基础上引入了变量、运算、函数等功能。 常见的预处理器：Sass、Less、Stylus Less安装 首先需要安装node.js 使用npm install -g less安装less 使用less -v
python语法-def（）详细介绍（特别全）
m0_55813592的博客
04-28 3万+
在 Python 中，函数是一种可重用的代码块，用于执行特定的任务或操作。函数可以接受输入参数，并返回输出结果，从而实现模块化和封装性编程的目的。""""""其中，def是定义函数的关键字，是函数的名称，parameters是函数的参数列表，用圆括号包裹，多个参数之间用逗号分隔，如果没有参数，则留空即可。函数名称和参数列表组成了函数的签名（signature），用于唯一识别和调用该函数。函数的主体部分由冒号和缩进的代码块组成，通常包含一些语句和表达式来完成具体的计算或操作。
＜Zhuuu_ZZ＞HIVE(十一)函数
Zhuuu_ZZ的博客
09-22 2018
Hive内置函数一 Hive函数分类二 字符函数二 类型转换函数和数学函数三 日期函数四 集合函数五 条件函数六 聚合函数和表生成函数6.1 聚合函数6.2 表生成函数：输出可以作为表使用 一 Hive函数分类 从输入输出角度分类 标准函数：一行数据中的一列或多列为输入，结果为单一值 聚合函数：多行的零列到多列为输入，结果为单一值 表生成函数：零个或多个输入，结果为多列或多行 从实现方式分类 内置函数 自定义函数 UDF：自定义标准函数 UDAF：自定义聚合函数 UDTF：自定义表生成函数
__func__标识符
04-20 1万+
__func__标识符  __func__是C99标准里面预定义标识符, 它是一个static const char[], 会在每一个使用__func__的函数里隐式定义.下面是ISO9899里的例子#include void myfunc(void){     printf("%s/n", __func__);     /* ... */}输出: myfunc 据我所知好像只
在C / C ++中，__FUNCTION__，__func__、__PRETTY_FUNCTION__和__FUNCSIG__的作用及区别
qq_27898413的博客
03-27 2678
官方C99标准为此目的定义的__func__标识符，确实值得大家关注，然而，ISO C++却不完全支持所有的C99扩展，因此，大多数的编译器提供商都使用 __FUNCTION__ 取而代之，而 __FUNCTION__ 通常是一个定义为 __func__ 的宏，之所以使用这个名字，是因为它已受到了大多数的广泛支持。在最新的ISO C标准中，如大家所知的C99，加入了另一个有用的、类似宏的表达式__func__，其会报告未修饰过的（也就是未裁剪过的）、正在被访问的函数名。该宏用于获取当前函数的名称。
Hive自定义函数
01-20
Hive自定义函数 一. UDF(user defined function) 背景 系统内置函数无法解决所有的实际业务问题，需要开发者自己编写函数实现自身的业务实现诉求。 应用场景非常多，面临的业务不同导致个性化实现很多，故udf...
hive自定义udf函数实战
01-07
udf函数，用户自定义函数，可以直接在sql语句中计算的函数 优点： 允许实现模块化的程序设计、方便修改代码、增加函数 UDF的执行速度很快，通过缓存计划在语句重复执行时降低代码的编译开销，比存储方法的执行效率...
Spark不能使用hive自定义函数.doc
最新发布
03-06
Spark不能使用hive自定义函数
hive-udf:hive自定义函数
05-18
hive-udfhive自定义函数主要实现hive3种自定义函数1，udf函数，主要用于处理一对一数据处理2，udtf函数，主要用于处理一对多数据处理2，udaf函数，主要用与处理多对一数据聚合处理
hive数仓、hive SQL 、 hive自定义函数 、hive参数深入浅出
03-24
hive数仓、hive SQL 、 hive自定义函数 、hive参数深入浅出
python语法教程——def()函数
点点点
10-09 4万+
函数的定义以关键字def开头，后面接函数名称和圆括号。括号中放入函数需要的参数。通过冒号和缩进控制函数内容。def 函数名(参数) : 函数体在学习一门语言时，我们最先学会的是如何输出Hello world。那么，我们的第一个函数也就从最简单的输出Hello world开始。') hello()可以看到，我们调用了我们定义的hello函数，函数执行了其中的print语句。这里我们定义一个可以计算两个数之和的函数add，可以先运行一下看看。3函数完美地计算出了1加2的值。
Python教程——def()函数
Woo_home的博客
10-13 7万+
什么是函数？ 函数是组织好的，可重复使用的，用来实现单一，或相关联功能的代码段。 函数能提高应用的模块性，和代码的重复利用率。 如何定义函数？ 函数代码块以 def 关键词开头，后接函数标识符名称和圆括号 () 任何传入参数和自变量必须放在圆括号中间，圆括号之间可以用于定义参数。 函数的第一行语句可以选择性地使用文档字符串—用于存放函数说明。 函数内容以冒号起始，并且缩进。 return [表达...
C语言--swap交换函数
m0_59052131的博客
11-17 1万+
对于Swap交换函数的四种情况的解以及代码+运行结果：
less使用自定义函数完成简单自适应
qq_36687211的博客
12-21 2472
less使用自定义函数完成简单自适应
python中def用法
热门推荐
qq_21466543的博客
08-12 22万+
一、函数调用的含义   函数是类似于可封装的程序片段。允许你给一块语句一个名字，允许您在你的程序的任何地方使用指定的名字运行任何次数。 python中有许多内置函数，如len和range。 函数概念可能是任何有价值软件中最重要的块(在任何编程语言中)。   二、定义函数使用def关键字   在这个关键字之后是标识函数的名字； 其次是在一对括号中可以附上一些变量名； 最后在行的末尾...
Less系列之函数（Functions）
老__L的博客
05-03 4424
Less 内置了多种函数用于转换颜色、处理字符串、算术运算等。函数的用法非常简单。下面这个例子将介绍如何利用 percentage 函数将 0.5 转换为 50%，将颜色饱和度增加 5%，以及颜色亮度降低 25% 并且色相值增加 8 等用法： 1、Logical函数 1.1、if 根据条件返回两个值的一个。 输出 注：一个布尔表达式支持和守卫声明一样的条件参数。 注：在3.6之前，条件需要一组括号。 1.2、boolean 计算结果为真或者假你可以"存储"在守卫或 评估的 boolean。 输出 2、字符
Python中很常用的函数map（），一起来看看用法
捣鼓Python的博客
09-12 4万+
Python2中map直接返回作用后的元素的列表 Python3中map返回的则是一个map对象 如果想得到列表对象，则还需要调用list转化为列表对象 Python2中，map()函数的 function 可以为None，如map(iterable1,iterable2[,...[,iterable n)，其作用类似于将iterable*中的对应索引的值取出作为一个元组，最终返回一个包含多个元组的列表。而Python3中，不指定 function，就会报错。
__func__函数
chengxutu的博客
11-24 501
可以简化代码的编写，以及便于在报错信息中定位问题。例如，当出现错误时，可以在报错信息中打印函数名称以更方便地追踪问题所在的代码。是一个 C 语言的预定义宏。它表示当前函数的名称，是一个字符串常量。也可以在此外的函数作用域内使用，表示当前所在的函数的名称。输出结果为：mian。
python map函数的作用_python语言基础之map函数，urlib.request,多线程
weixin_39652760的博客
11-26 7865
1.map函数map 是 Python 自带的内置函数，它的作用是把一个函数应用在一个（或多个）序列上，把列表中的每一项作为函数输入进行计算，再把计算的结果以列表的形式返回。map 的第一个参数是一个函数，之后的参数是序列，可以是 list、tuple。当 map 中的函数为 None 时，结果将会直接返回参数组成的列表。(python3中去掉了None，会报错)lst_1 = (1,2,3,4,...
hive cast函数用自定义udf函数方式实现
05-24
要使用自定义UDF函数的方式实现Hive中的CAST函数，需要按照以下步骤进行操作： 1. 创建一个自定义UDF函数类，该类需要继承Hive中的GenericUDF或者AbstractGenericUDF类。具体而言，如果你需要处理单个参数，则可以...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值