hive必背函数

最新推荐文章于 2024-07-16 09:27:09 发布
最新推荐文章于 2024-07-16 09:27:09 发布
阅读量228 收藏 2
点赞数 2
文章标签： 字符串 java hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wgyzzzz/article/details/107328075
版权

文章目录

数字函数：

round

round(DOUBLE a) 返回对a四舍五入的BIGINT值
在这里插入图片描述

round(DOUBLE a, INT d) 返回double型a保留d位小数（四舍五入）
在这里插入图片描述

floor

floor(DOUBLE a) 向下取整

在这里插入图片描述

ceil

ceil(DOUBLE a)/ceiling(DOUBLE a) 向上取最小整数

在这里插入图片描述

rand

rand() 返回一个0-1之间的随机数

在这里插入图片描述

exp

exp(DOUBLE a) 返回e的a次方幂 a可以是小数

在这里插入图片描述

pow

pow(DOUBLE a, DOUBLE p) 计算a的p次方

在这里插入图片描述

sqrt

sqrt(DOUBLE a) 计算a的平方根

在这里插入图片描述

abs

abs(DOUBLE a) 计算a的绝对值

在这里插入图片描述

pmod

pmod(INT a, INT b), a对b取模

在这里插入图片描述

negative

negative(INT a),返回a的相反数

在这里插入图片描述

sign

sign(DOUBLE a), 如果a是正数则返回1.0，是负数则返回-1.0，否则返回0.0

在这里插入图片描述

greatest

greatest(int a , int b , …) 返回最大值

在这里插入图片描述

least

least（int a , int b） 返回最小值

在这里插入图片描述

集合函数

size

size(Map<K.V>) 求map的长度
在这里插入图片描述

size(Array) 求数组长度

在这里插入图片描述

map_keys

map_keys(Map<K.V>) 返回map中的所有key

在这里插入图片描述

map_values

map_values(Map<K.V>) 返回map中的所有value

在这里插入图片描述

array_contains

array_contains(Array, value) 查找数组中是否含有value 有 返回true 否则false

在这里插入图片描述

sort_array

sort_array(Array) 按自然顺序对数组进行排序并返回

在这里插入图片描述

日期函数

unix_timestamp

unix_timestamp() 获取本地时区下的时间戳
在这里插入图片描述

unix_timestamp(string date) 将时间字符串转换为时间戳 （时间字符串要写到秒）

在这里插入图片描述

unix_timestamp(string date) 将指定时间字符串格式字符串转换成Unix时间戳，如果格式不对返回0
在这里插入图片描述

from_unixtime

from_unixtime(bigint unixtime[, string format]) 将时间戳转换成format格式
在这里插入图片描述

to_date

to_date(string timestamp) 返回时间字符串的日期部分

在这里插入图片描述

year

year(string date) 返回时间字符串的年份部分
在这里插入图片描述

month

month(string date) 返回时间字符串的月份部分
在这里插入图片描述

day

day(string date) 返回时间字符串的天

在这里插入图片描述

hour

hour(string date) 返回时间字符串的小时

在这里插入图片描述

minute

minute(string date) 返回时间字符串的分钟

在这里插入图片描述

second

second(string date) 返回时间字符串的秒
在这里插入图片描述

weekofyear

weekofyear(string date) 返回时间字符串位于一年中的第几个周内
在这里插入图片描述

datediff

datediff(string enddate, string startdate) 计算开始时间startdate到结束时间enddate相差的天数
在这里插入图片描述

date_add

date_add(string startdate, int days) 从开始时间startdate加上days

在这里插入图片描述

date_sub

date_sub(string startdate, int days) 从开始时间startdate减去days

在这里插入图片描述

current_date

current_date 返回当前时间日期（加不加括号都行）

在这里插入图片描述

current_timestamp

current_timestamp 返回当前时间
在这里插入图片描述

add_months

add_months(string start_date, int num_months) 返回当前时间下再增加num_months个月的日期

在这里插入图片描述

last_day

last_day(string date) 返回这个月的最后一天的日期

在这里插入图片描述

next_day

next_day(string start_date, string day_of_week) 返回当前时间的下一个星期X所对应的日期
在这里插入图片描述

trunc

trunc(string date, string format) 返回时间的最开始年份或月份
在这里插入图片描述

months_between

months_between(date1, date2) 返回date1与date2之间相差的月份，如date1>date2，则返回正，如果date1<date2,则返回负，否则返回0.0

在这里插入图片描述

date_format

date_format(date/timestamp/string ts, string fmt)
在这里插入图片描述

条件函数

if

if(boolean testCondition, T valueTrue, T valueFalseOrNull) 如果testCondition 为true就返回valueTrue,否则返回valueFalseOrNull
在这里插入图片描述

nvl

nvl(T value, T default_value) 如果value值为NULL就返回default_value,否则返回value

在这里插入图片描述

COALESCE

COALESCE(T v1, T v2, …) 返回第一非null的值，如果全部都为NULL就返回NULL
在这里插入图片描述

CASE

CASE a WHEN b THEN c [WHEN d THEN e]* [ELSE f] END 如果a=b就返回c,a=d就返回e，否则返回f
在这里插入图片描述
在这里插入图片描述

CASE WHEN a THEN b [WHEN c THEN d]* [ELSE e] END 如果a=ture就返回b,c= ture就返回d，否则返回e

在这里插入图片描述

isnull

isnull( a ) 如果a为null就返回true，否则返回false

在这里插入图片描述

isnotnull

isnotnull ( a ) 如果a为非null就返回true，否则返回false

在这里插入图片描述

字符函数

concat

concat(string|binary A, string|binary B…) 对二进制字节码或字符串按次序进行拼接
在这里插入图片描述

concat_ws

concat_ws(string SEP, string A, string B…) 与concat()类似，但使用指定的分隔符进行分隔
在这里插入图片描述
concat_ws(string SEP, array) 拼接Array中的元素并用指定分隔符进行分隔

在这里插入图片描述

find_in_set

find_in_set(string str, string strList) 返回以逗号分隔的字符串中str出现的位置，如果参数str为逗号或查找失败将返回0，如果任一参数为NULL将返回NULL

在这里插入图片描述

instr

instr(string str, string substr) 查找字符串str中子字符串substr出现的位置，如果查找失败将返回0，如果任一参数为Null将返回null，注意位置为从1开始的

在这里插入图片描述

length

length(string A) 返回字符串的长度

在这里插入图片描述

locate

locate(string substr, string str[, int pos]) 查找字符串str中的pos位置后字符串substr第一次出现的位置

在这里插入图片描述

lower

lower(string A)/ lcase(string A) 将字符串A的所有字母转换成小写字母
在这里插入图片描述

upper

upper(string A) 将字符串A的所有字母转换成大写字母

在这里插入图片描述

trim

trim() 去空格
在这里插入图片描述

split

split（string str，’’）用指定字符分割字符串返回数组

在这里插入图片描述

substring

substring（string str，int a，int b）截取字符串 从下边7开始截5个

在这里插入图片描述

regexp_replace

regexp_replace(string INITIAL_STRING, string PATTERN, string REPLACEMENT) 按照Java正则表达式PATTERN将字符串INTIAL_STRING中符合条件的部分成REPLACEMENT所指定的字符串，如里REPLACEMENT这空的话，抽符合正则的部分将被去掉

在这里插入图片描述

repeat

repeat(string str, int n) 重复输出n次字符串str

在这里插入图片描述

reverse

reverse(string A) 反转字符串

在这里插入图片描述

str_to_map

str_to_map(text[, delimiter1, delimiter2]) 将字符串str按照指定分隔符转换成Map，第一个参数是需要转换字符串，第二个参数是键值对之间的分隔符，默认为逗号;第三个参数是键值之间的分隔符，默认为"="

在这里插入图片描述

聚合函数

count(*) 统计总行数，包括含有NULL值的行
sum(col) 表示求指定列的和
sum(DISTINCT col) 表示求去重后的列的和
avg(col), avg(DISTINCT col)
avg(col),表示求指定列的平均值，avg(DISTINCT col)表示求去重后的列的平均值
min(col) max(col) 求指定列的最小值/ 最大值
var_pop(col) 求指定列数值的方差

日写BUG八百行
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hive 关于array的常用操作。［排序］［包含］
qiezikuaichuan的专栏
02-25 2万+
select  count(*)   from  xxxxxxxx        > lateral view  explode(pair) ids_table1  as id1   lateral view  explode(pair) ids_table2  as id2      >  where  year=2016 and  month =2 and day =23  and id2
Hive中高频常用的函数和语法梳理及业务场景示例
wt334502157的博客
06-29 1655
函数在Hive中被广泛使用，可以用于数据清洗、转换、计算和分析等各种业务场景。根据具体的需求，选择合适的函数可以提高查询和处理数据的效率，并实现所需的功能
一些常用的hive sql函数
01-15 1729
一些常用的hive sql函数 简介一些工作中常用的hive sql 1. with...as语句 with语句，允许hive定义一个sql片段，供整个sql使用，会将这个片段产生的结果集保存在内存中，后续的sql均可以访问这个结果集，作用与视图或临时表类似； with 语句，相当于建立了一张临时虚拟表，但是不会被物理创建，用完即销毁； with 语句，可以将业务接耦，每一个with语句，单独成为一个子模块，最后使用基础表将它们串联起来； 这里必须要整体作为一条sql查询，即with as语句后
hive中array相关函数总结
weixin_43597208的博客
12-22 2535
sort_array 函数可以用于对 Array 对象中的元素进行排序。具体来说，sort_array 函数会将 Array 对象中的元素按照升序顺序进行排序，并返回一个新的排序后的 Array 对象。explode 函数可以用于将一个 Array 对象拆分成多行。具体来说，explode 函数会将 Array 对象中的每个元素拆分成一行，并与原始数据集中的其他字段一起返回。下面全年级的学生成绩单的部分，包含学生姓名，课程，分数，年级排名，要求将每人的成绩进行汇总整理：按排名，课程和成绩的顺序。
hive函数大全：11大类、109个函数
keyoukewude的博客
04-07 629
比如，M是值为{‘f’ -> ‘foo’, ‘b’-> ‘bar’, ‘all’ -> ‘foobar’}的map类型，那么M[‘all’]将会返回’foobar’比如，M是值为{‘f’ -> ‘foo’, ‘b’-> ‘bar’, ‘all’ -> ‘foobar’}的map类型，那么M[‘all’]将会返回’foobar’说明: count(*)统计检索出的行的个数，包括NULL值的行；比如，A是个值为[‘foo’, ‘bar’]的数组类型，那么A[0]将返回’foo’,而A[1]将返回’bar’
hive窗口函数
01-09
### Hive窗口函数详解 #### 一、概述 在大数据处理领域，Apache Hive 是一个广泛使用的数据仓库工具，它提供了一种SQL-like的语言——HiveQL，使得用户能够更方便地进行数据汇总、特殊查询和分析。其中，窗口函数...
Hive自定义函数
01-20
【Hive自定义函数】是Hive为了满足用户在处理大数据时遇到的特定业务需求而提供的功能。在Hive的内置函数无法满足这些需求时，用户可以通过编写自定义函数（UDF）进行扩展。UDF全称为User Defined Function，允许...
Hive 窗口函数
01-07
over()：指定分析函数工作的数据窗口的大小，这个数据窗口大小会随着行的变而变化。over跟在聚合函数后面，只对聚合函数生效。 current row：当前行 n preceding：往前n行数据 n following：往后n行数据 unbounded：...
hive常用函数
04-17
hive常用函数，包括时间、类型、udf、udaf等等的归纳。
hive窗口函数.docx
07-08
Hive 窗口函数详解 Hive 窗口函数是 Hive 中的一种强大的分析函数，它可以对数据进行分类、排序、聚合和排名等操作。下面将详细介绍 Hive 窗口函数的语法结构、分类、应用场景和实践练习。 窗口函数语法结构 窗口...
Hive中数组array的相关应用
07-18 4624
array_intersect(array1, array2)：返回一个包含所有同时在数组array1和数组array2中的元素的数组（数组array1和数组array2的交集元素)。split(reverse(concat_ws(delimiter,array_sort(array))),delimiter)：按。array_position(array, value)：返回value在数组中的位置，如果不存在则返回。数组array2中的元素（数组array1比数组array2多的元素）。
Hive函数大全
akenseren的博客
04-25 273
目录 摘要 数学函数 摘要 Hive内部提供了很多函数给开发者使用，包括数学函数，类型转换函数，条件函数，字符函数，聚合函数，表生成函数等等，这些函数都统称为内置函数。 数学函数 Return Type Name (Signature) Description DOUBLE round(...
大数据高频面试题之Hive常用函数总结
czxylzl的博客
04-14 1181
Hive内部支持大量的函数，可以通过 SHOW FUNCTIONS 查看Hive的内置函数。灵活地运用Hive提供的函数能够极大地节省数据分析成本。Hive函数主要包含数学函数，集合函数，类型转换函数，日期函数，条件函数，字符串函数，聚合函数和表生成函数等。 1）数学函数 数学函数是Hive内部提供的专门用于数学运算的函数，如round()函数和sqrt()函数等。round()函数主要用来对给定的数字进行四舍五入取近似值，如下所示： hive (default)> SELECT ROUND(5.5)
hive之array操作
热门推荐
weixin_36190755的博客
10-13 1万+
array_col[n]取array_col第n个元素，n始自0 size(array_col)计算array_col元素个数 sort_array(array_col)对array_col中元素进行升序排序，不可指定降序 array_contains(array_col,x)检索array_col中是否包含x元素，若包括则为true，否则false 一个SQL让你认识array相关函数 with tmp as ( select t.node,t.parent,collect_s...
数仓工具—Hive语法之数组函数用法和示例
最新发布
07-16 2万+
之后，您可以使用数组操作函数来操作数组类型。数组函数将自然语言文本的字符串分割成单词和句子，每个句子在适当的句子边界处断开，并作为单词数组返回。函数根据数组元素的自然排序对输入数组进行升序排序并返回。例如，考虑以下示例对数组字符串进行排序并返回排序后的数组。例如，以下示例仅从键值对 map 类型中返回键。例如，以下示例仅从键值对 map 类型中返回值。例如，考虑以下示例，根据逗号分隔符分割字符串。函数在 map 类型上工作并返回键值数组。例如，考虑以下示例，根据整数值创建数组。
Hive之函数篇（使用函数看这篇足够了）
&volume的博客
07-10 1585
时间戳：我们常说的时间戳是unix时间戳----指从1970年1月1日00:00:00（UTC--世界协调时间，便于统一时区---可以认为是0时区）起算的秒数，它用于表示某个时间点相对于UNIX纪元时间的时间差。完整函数有三个参数，参数1：字符串 参数2：从什么位置开始截取（从1开始，正数表示从左往右数数，找到指定位置，负数表示从右往左数数，从-1开始，找到指定位置）参数3：表示截取的字符数，不写默认截取到最后。参数2：传入的是需要查找的位置（加一个$(指代的前边传入的字符串).符号）
hive函数大全
qq_61313811的博客
02-02 1904
1、等值比较：= 2、不等值比较：<> 3、小于比较：< 4、小于等于比较：<= 5、大于比较：> 6、大于等于比较：> 7、空值判断：IS NULL 8、非空判断：IS NOT NULL 9、LIKE 比较：LIKE 10、JAVA 的 LIKE 比较：RLIKE 11、正则匹配：REGEXP 数学运算 1、加法操作：+ 2、减法操作：- 3、乘法操作：* 4、除法操作：/ 5、取余操作：% 6、位与操作：& 7、位或操作：| 8、位异或操作：^ 9、按位取反操
impala: 类似hive的array_contains()函数
雾岛与鲸的博客
02-07 2252
impala: 类似hive的array_contains()函数 首先，需要先了解impala中的两个函数的作用，一个是group_concat(string s [, string sep]), 一个是find_in_set(string str,string strList) 1、group_concat(string s [, string sep]) 按照指定分隔符, 将多行记录的 s 表达式结果拼接起来, 结合group by 一起使用 select id,group_concat(nam
【大数据开发】Hive——Hive函数大全
白色风车
11-06 860
文章目录一、关系运算：1. 等值比较: =2. 不等值比较: <>3. 小于比较: <4. 小于等于比较: <=5. 大于比较: >6. 大于等于比较: >=7. 空值判断: IS NULL8. 非空判断: IS NOT NULL9. LIKE比较: LIKE10. JAVA的LIKE操作: RLIKE11. REGEXP操作: REGEXP二、数学运算：1. 加法操作: +2. 减法操作: -4. 除法操作: /5. 取余操作: %6. 位与操作: &7. 位或
Hive内置函数详解：运算符与UDF
"Hive常用函数涵盖了时间、类型、UDF（用户自定义函数）和UDAF（用户自定义聚合函数）等多个方面，旨在帮助用户更好地理解和运用Hive的数据处理功能。本文主要聚焦于内置运算符的介绍，包括关系运算符和算术运算符。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值