Hive的函数

已于 2022-10-21 09:36:49 修改
阅读量717 收藏
点赞数 1
文章标签： hive 大数据 hadoop
于 2022-10-21 09:34:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_60315352/article/details/127421548
版权

一.内置函数

1.类型转换

cast(expr as <type>)
例：
Select cast(‘1’ as double);

在这里插入图片描述

2.切割

split(string str, string pat)
例：select spilt(‘zhangsan,lisi,wangwu’,’\\,’);

在这里插入图片描述

3.正则表达截取字符串

regexp_extract(string subject, string pattern, int index)
例：select regexp_extract('hello<B>nice</B>haha','<B>(.*)</B>',1);

在这里插入图片描述

4.将字符串前后的空格去掉

trim(string A)
例：select trim(“          asdasda”);

在这里插入图片描述

5.聚合函数

sum(col)
avg(col)
min(col)
max(col)

在这里插入图片描述

求和：
在这里插入图片描述
.求最小值：
在这里插入图片描述

6.拼接字符串

concat(string A, string B...)
例：select concat(“asdghkajhsd”,”asdujhakdj”);

在这里插入图片描述

7.字符串的截取

例：

select substr(‘ajksd’,4,2);

在这里插入图片描述

8.炸裂函数

select explode(split("nice|good|well","\\|"));

在这里插入图片描述

9.Case when(打分、评级的时候使用)

select name,score,
case when score >= 90 then 'very good'
when score >= 80 and score <90 then 'double good'
when score >= 70 and score <80 then 'good'
when score >= 60 and score <70 then 'go on'
else 'zhencai'
end level
from student_level order by score desc;

在这里插入图片描述

10.炸裂函数的实际应用

select name,sub
from test1
LATERAL VIEW explode(split(subject,','))temp as sub;

在这里插入图片描述

11.日期处理函数

1.date_format('日期')函数（根据格式整理日期）
Select data_format(‘2020-03-05’,’yyyy-MM’)
2.date_add('日期')函数（加减日期）
Select data_add(‘2022-11-14’,-1)
3.date_sub('日期')函数（加减日期）
Select data_sub(‘2022-11-14’,1)
4.next_day('日期')函数（取当前天的下一个周一）
Select next_day(‘2022-11-14’,’MO’)
5.date_add(next_day('日期','MO'),-7)函数
Select data_add(next_day(‘2020-11-14’,’MO’))
6.last_day('日期')函数（求当月最后一天的函数）
Select last_day(‘2020-11-14’)

在这里插入图片描述
在这里插入图片描述

二.处理json数据

现有json数据
{“movie”:“1193”,“rate”:“5”,“timeStamp”:“978300760”,“uid”:“1”}
{“movie”:“661”,“rate”:“3”,“timeStamp”:“978302109”,“uid”:“1”}
{“movie”:“914”,“rate”:“3”,“timeStamp”:“978301968”,“uid”:“1”}
{“movie”:“3408”,“rate”:“4”,“timeStamp”:“978300275”,“uid”:“1”}
{“movie”:“2355”,“rate”:“5”,“timeStamp”:“978824291”,“uid”:“1”}
{“movie”:“1197”,“rate”:“3”,“timeStamp”:“978302268”,“uid”:“1”}
{“movie”:“1287”,“rate”:“5”,“timeStamp”:“978302039”,“uid”:“1”}
{“movie”:“2804”,“rate”:“5”,“timeStamp”:“978300719”,“uid”:“1”}
{“movie”:“594”,“rate”:“4”,“timeStamp”:“978302268”,“uid”:“1”}
在这里插入图片描述
在这里插入图片描述
创建表，并load数据。

create table json(data string);
load data local inpath '/opt/testData/hive/json.txt' into table json;

在这里插入图片描述
查询json数据。

select get_json_object(data,'$.movie') as movie,
get_json_object(data,'$.rate') as rate
from json；

在这里插入图片描述

三.窗口函数

3.1窗口聚合

sum(pv) over()

1.数据准备

cookie1,2015-04-10,1
cookie1,2015-04-13,3
cookie1,2015-04-11,5
cookie1,2015-04-12,2
cookie1,2015-04-15,4
cookie1,2015-04-16,4
cookie1,2015-04-14,4
cookie2,2015-04-14,3
cookie2,2015-04-15,9
cookie2,2015-04-16,7
cookie2,2015-04-10,2
cookie2,2015-04-11,3
cookie2,2015-04-12,5
cookie2,2015-04-13,6
数据准备地址
数据准备地址，后面数据地址相同

2.创建新表

create table cookie1(cookieid string, createtime string, pv int) row format delimited fields terminated by ',';

3.加载数据

load data local inpath "/opt/software/testData/cookie1.txt" into table cookie1;

4.查看数据

select * from cookie1;

cookie1

5.函数实现

select cookieid,createtime, 
   pv, 
   sum(pv) over (partition by cookieid order by createtime rows between unbounded preceding and current row) as pv1, --默认起点到当前行
   sum(pv) over (partition by cookieid order by createtime) as pv2, -- 从起点到当前行
   sum(pv) over (partition by cookieid) as pv3, -- 分组内所有行
   sum(pv) over (partition by cookieid order by createtime rows between 3 preceding and current row) as pv4, -- 此行+往前3行
   sum(pv) over (partition by cookieid order by createtime rows between 3 preceding and 2 following) as pv5,  -- 此行+往前3行+后两行
   sum(pv) over (partition by cookieid order by createtime rows between current row and unbounded following) as pv6 -- 此行+往后所有行
from cookie1;

聚合函数

3.2 窗口分片

ntile(n) over()

1.数据准备

cookie1,2015-04-10,1
cookie1,2015-04-11,5
cookie1,2015-04-12,7
cookie1,2015-04-13,3
cookie1,2015-04-14,2
cookie1,2015-04-15,4
cookie1,2015-04-16,4
cookie2,2015-04-10,2
cookie2,2015-04-11,3
cookie2,2015-04-12,5
cookie2,2015-04-13,6
cookie2,2015-04-14,3
cookie2,2015-04-15,9
cookie2,2015-04-16,7

2.创建表

create table cookie2(cookieid string, createtime string, pv int)
row format delimited
fields terminated by ',';

3.加载数据

load data local inpath "/opt/software/testData/cookie2.txt" into table cookie2;

cookie2

4.代码实现

select cookieid,createtime,
  pv,
  ntile(2) over (partition by cookieid order by createtime) as rn1,  --分组内将数据分成2片
  ntile(3) over (partition by cookieid order by createtime) as rn2,  --分组内将数据分成3片
  ntile(4) over (order by createtime) as rn3  -- 将所有数据分为四片
from cookie1 
order by cookieid,createtime;

3.3 窗口排序

row_number() over()
row_number() over (partition by cookieid order by pv desc) as rn1
例
100 99 98 98 97 96
1，2，3，4，5，6
rank() over()
rank() over(partition by cookieid order by pv desc) as rn2
例
100 99 98 98 97 96
1，2，3，3，5，6
dense_rank() over()
dense_rank() over(partition by cookieid order by pv desc) as rn3
例
100 99 98 98 97 96
1，2，3，3，4，5

1. 代码具体实现

使用cookie2数据进行实现

select
  cookieid,
  createtime,
  pv,
  rank() over (partition by cookieid order by pv desc) as rn1,
  dense_rank() over (partition by cookieid order by pv desc) as rn2,
  row_number() over (partition by cookieid order by pv desc) as rn3
from cookie2 
where cookieid='cookie1';

排序函数

3.4 上下移动函数

LAG(col,n,DEFAULT)

1.数据准备

cookie1,2015-04-10 10:00:02,url2
cookie1,2015-04-10 10:00:00,url1
cookie1,2015-04-10 10:03:04,url3
cookie1,2015-04-10 10:50:05,url6
cookie1,2015-04-10 11:00:00,url7
cookie1,2015-04-10 10:10:00,url4
cookie1,2015-04-10 10:50:01,url5
cookie2,2015-04-10 10:00:02,url22
cookie2,2015-04-10 10:00:00,url11
cookie2,2015-04-10 10:03:04,url33
cookie2,2015-04-10 10:50:05,url66
cookie2,2015-04-10 11:00:00,url77
cookie2,2015-04-10 10:10:00,url44
cookie2,2015-04-10 10:50:01,url55

2.创建表

create table cookie3(cookieid string, createtime string, url string)
row format delimited fields terminated by ',';

3.加载数据

oad data local inpath "/opt/software/testData/cookie3.txt" into table cookie3;

cookie3

4.代码实现

用于将当前列往上移n行
第一个参数为列名。
第二个参数为往上第n行（可选，默认为1）。
第三个参数为默认值（当往上第n行为NULL时候，取默认值，如不指定，则为NULL）。
LAG(createtime,1,‘1970-01-01 00:00:00’) over (partition by cookieid order by createtime) as last_1_time
LAG(createtime,2) over (partition by cookieid order by createtime) as last_2_time

select 
  cookieid, 
  createtime, 
  url, 
  row_number() over (partition by cookieid order by createtime) as rn, 
  LAG(createtime,1,'1970-01-01 00:00:00') over (partition by cookieid order by createtime) as last_1_time, 
  LAG(createtime,2) over (partition by cookieid order by createtime) as last_2_time 
from cookie3;

s

3.5 首尾值

FIRST_VALUE(url) over ()
分组排序后截至到当前行的第一个值。
FIRST_VALUE(url) over (partition by cookieid order by createtime desc) as last1
LAST_VALUE(url) over ()
分组排序后截至到当前行的最后一个值。
FIRST_VALUE(url) over (partition by cookieid order by createtime desc) as last2

1. 代码实现

select cookieid,createtime,url,
row_number() over (partition by cookieid order by createtime) as rn,
FIRST_VALUE(url) over (partition by cookieid order by createtime desc) as last1,
LAST_VALUE(url) over (partition by cookieid order by createtime desc) as last2
from cookie3;

首尾

四.自定义函数

当 Hive 提供的内置函数无法满足业务处理需要时，此时就可以考虑使用用户自定义函数。
UDF（user-defined function）作用于单个数据行，产生一个数据行作为输出。
UDAF（用户定义聚集函数 User- Defined Aggregation Funcation）：接收多个输入数据行，并产生一个输出数据行。类似于max、min。
UDTF（表格生成函数 User-Defined Table Functions）：接收一行输入，输出多行。类似于explode。

4.1自定义UDF

1.创建Maven项目，并导入依赖

    <dependencies>
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-exec</artifactId>
            <version>2.3.3</version>
            <exclusions>
                <exclusion>
                    <groupId>jdk.tools</groupId>
                    <artifactId>jdk.tools</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
    </dependencies>

在这里插入图片描述

2.自定义一个java类继承UDF，重载 evaluate 方法

public class ToLower extends UDF {
    public String evaluate(String field) {
        String result = field.toLowerCase();
        return result;
    }
}

在这里插入图片描述

3.打成jar包上传到服务器。

在这里插入图片描述
在这里插入图片描述

4.添加jar包到hive中

使用add JAR导入jar包

add JAR /opt/testData/hive/UDF-1.0-SNAPSHOT.jar;
list jar;

在这里插入图片描述

5.创建临时函数与开发好的 class 关联起来

create temporary function tolowercase as ‘ToLower’;

在这里插入图片描述
在HQL中使用
在这里插入图片描述
这种方式创建的临时函数只在一次hive会话中有效，重启会话后就无效。
在这里插入图片描述

6.创建永久函数

create function tolowercase as 'ToLower';

在这里插入图片描述

7，删除函数

删除临时函数

drop temporary function tolowercase;

删除永久函数

drop function tolowercase;

五.Hive的Shell操作

hive -e 从命令行执行指定的HQL
例：hive -e “select” * from student_level在这里插入图片描述
hive -f 执行 HQL 脚本
例：echo “select * from student_level” > hive.sql
hive -f hive.sql
在这里插入图片描述

aiyue5060
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hive 函数使用详解
congge_study的博客
02-12 7484
hive 函数使用详解
Hive函数大全（特全）
weixin_47391932的博客
07-12 1万+
文章目录一、关系运算：1. 等值比较: =2. 不等值比较: <>3.小于比较: <4. 小于等于比较: <=5. 大于比较: >6. 大于等于比较: >=7. 空值判断: IS NULL8. 非空判断: IS NOTNULL9. LIKE比较: LIKE10. JAVA的LIKE操作: RLIKE11. REGEXP操作: REGEXP二、数学运算：1. 加法操作: +2. 减法操作: -3. 乘法操作: *4. 除法操作: /5. 取余操作: %6. 位与操作: &a
大数据之Hive函数大全
m0_55901666的博客
05-24 1455
大数据技术组件Hive函数大全，HIve函数最全系列，包括常见的聚合函数，开窗函数等等
Hive函数大全
数据挖掘+大数据研发+算法学习
11-12 8630
目录 第四章 Hive函数 4.1 聚合函数 4.2 关系函数 4.3 数学运算 4.4 逻辑运算 4.5 数值运算 4.6 条件函数 4.7 日期函数 4.8 字符串函数 4.9 字符串截取函数 4.10 去空格函数 4.11 正则表达式与解析函数 4.12 explode函数 4.13 行转列与列转行 4.14 基础窗口函数与分析函数 4.14.1 窗口函数简介 4.14.2 窗口的含义 4.14.3 窗口函数分类 4.14.4 窗口函数的使用 4.14.5.
Hive函数
Markble
08-18 4295
目录 1、 系统内置函数 2、 常用内置函数 2.1 空字段赋值 2.2 CASE WHEN 2.3 行转列 2.4 列转行 2.5日期相关函数 3、 自定义函数 4、 自定义UDF函数 1、 系统内置函数 1）查看系统自带的函数 hive> show functions; 2）显示自带的函数的用法 hive> desc function upper; 3）详细显示自带的函数的用法 hive> desc function extended up..
常用Hive函数分享
热门推荐
李文良的博客
09-27 3万+
前言：分享下常用的Hive函数 常用Hive函数分享1. 字符函数1.1 concat 拼接函数1.2 concat_ws 拼接并分割1.3 substr/substring 截取字符串1.4 trim 去除两边空格1.5 repeat 复制字符串1.6 lpad 左填充字符串1.7 rpad 右填充字符串1.8 split 分割函数1.9 find_in_set:2. 聚合函数2.1 count 汇总统计2.2 sum 相加求和2.3 avg2.4 collect_list2.5 collect_set3
Hive 函数大全（吐血整理）
GodSuzzZ的博客
06-17 2万+
Hive 函数大全（吐血整理） 前言   Hive 内部提供了很多函数给开发者使用，包括数学函数，类型转换函数，条件函数，字符函数，聚合函数，表生成函数等等，这些函数都统称为内置函数。 在 hive 中可通过以下命令查看函数信息： --显示所有的可用函数，包括运算符、内置函数、自定义函数 show f
hive函数
CherishL_的专栏
08-22 3298
内置函数： 简单函数，聚合函数，集合函数，特殊函数 自定义函数： UDF（map阶段），UDAF（reduce阶段）cli命令 show functions；desc function concat（函数名字）；函数的描述信息 hive> desc function concat; OK concat(str1, str2, ... strN) - returns the concatena
hive 函数分类
qq_43192537的博客
07-22 929
hive 函数分类
hive函数大全
qq_60410574的博客
12-02 4058
hive函数大全
Hive函数大全.pdf
09-09
本篇文章将详细介绍Hive中的一些主要函数，包括数学函数、类型转换函数、条件函数、字符函数、聚合函数以及表生成函数。 一、关系运算 关系运算是查询语言的基础，用于比较和筛选数据。在Hive中，主要有以下几种...
hive函数简介
09-09
【Hive函数简介】 Hive 是一个基于 Hadoop 的数据仓库工具，它的主要目标是让非程序员能够方便地对大规模数据进行分析。Hive 提供了一个类似 SQL 的查询语言，称为 HiveQL，使得用户无需编写 MapReduce 程序就能...
hive函数1
08-04
除了上述运算符和函数，Hive 还提供了丰富的其他功能，如数学函数（如 `ABS`, `SQRT`, `POW` 等）用于数学计算，收集函数（如 `COUNT`, `SUM`, `AVG` 等）用于聚合数据，以及类型转换函数（如 `CAST`）用于将数据从...
hive函数大全.doc
05-19
以下是对"hive函数大全.doc"文档中提到的部分知识点的详细解释： ### 一、关系运算： 1. **等值比较**（=）：用于判断两个表达式是否相等，返回布尔结果。例如，`column1 = column2`会返回`true`如果两列的值相同，...
Hadoop、Hive、HBase、数据集成、Scala阶段测试
m0_58050808的博客
07-24 1729
ResourceManager 是 YARN 架构中的核心组件之一，负责接收客户端提交的作业（如 MapReduce 任务、Spark 任务等），并为这些作业分配资源（如内存、CPU）以在集群中的 NodeManager 上执行。spark的任务调度流程：driver端，遇到action算子触发任务执行，将任务提交到有向无环图，DAGscheduler中，根据RDD的血缘关系划分划分stage，将RDD中的分区封装成taskset任务，发送到TASKscheduler。
Hive命令为表增加字段（内置数据库）
最新发布
weixin_45422672的博客
08-03 261
在linux系统下，首先执行cd /simple/hive-0.12.0/bin命令进入bin目录下，然后执行命令：./hive进入到shell命令环境，进入hive环境之前，执行命令start-all.sh，确保hadoop进程启动。执行完所有的操作，如果需要退出hive shell环境，在hive shell环境下执行命令：exit即可。进入hive shell环境，确保hive中存在已经创建的表结构，然后可以通过alter命令对表的字段进行修改。一、 进入hive shell环境。
Spring security学习笔记
这河里吗l的博客
08-03 765
Spring Security是一个用于在Java应用程序中实现 身份验证 和 访问控制 的强大框架。它可以轻松地集成到任何基于Spring的应用程序中，提供了一套丰富的功能来保护应用程序的安全性。
hive的内部表（MANAGED_TABLE）和外部表（EXTERNAL_TABLE）的区别
qq_58462591的博客
08-01 262
外部表：外部表的存储在hdfs中，是我们指定的文件目录，当我们删除数据或者删除分区的时候不会将元数据删除，数据还会在hdfs目录中，我们还可以进行数据挂载。内部表：内部表的存储是在hdfs的默认目录下，当我们删除数据或者删除分区的时候会将元数据删除，数据文件也会被删除。运行指令找到table_type 如果为MANAGED_TABLE，那就是内部表，内部表和外部表的主要区别在于数据的存储方式。如果是EXTERNAL_TABLE,那就是外部表。
大数据信用查询什么样的平台比较靠谱?
xiaoyikj的博客
08-01 644
随着互联网的发展和普及，大数据技术逐渐应用到各行各业中，其中之一就是信用查询领域，大数据信用查询平台能够为用户提供全面、准确的大数据信用评估，然而，由于市场上出现了许多不同的大数据信用查询平台，我们如何才能选择一个靠谱可信的平台呢?市面上很查询大数据的平台都只有一个单链接，用户查询完成之后，对报告有不清楚的地方，根本没有办法找到专人为其分析，如果一份报告自己看不懂，没有人解答，那么这次的钱就是白花了，而小易大数据平台则是市面上为数不多的提供大数据报告免费解读的平台，深受用户好评。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值