hive函数大全详细解释+简单运用

tab_name	解释	案例	结果
！	逻辑 非	select !true	TRUE
!=	不等值比较	select 2!=1	FALSE
%	取余	select 3%2	1
&	按位与	select 3&5 from src limit	1
*	乘法	select 2*3	6
+	加法	select 2+3	5
-	减法	select 3-1	2
/	除法	select 3/2	1.5
<	小于	select 2<3	TRUE
<=	小于等于	select 2<=3	TRUE
<=>	等值比较	select 1<=>2	FALSE
<>	不等值比较	select 2 <> 3	TRUE
=	等值比较	select 2 == 2	TRUE
>	大于	select 3 > 4	FALSE
>=	大于等于	select 3>=2	TRUE
^	运算符查看两个参数的二进制表示法的值,并执行按位”异或”操作	select 5^12	9
abs	绝对值函数	select abs(-9)	9
acos	反余弦函数	select acos(2) from src limit 1;	0
add_months	日期加减月	select add_months(‘2009-08-31’, 1) from src limit 1;	2009-09-30
and	逻辑与
array	构造数组	构造数组	[1,2,3]
array_contains	判断元素数组是否包含元素	select array_contains(array(“aa”,“bb”,“cc”),“aa”)	TRUE
ascii	返回字符串第一个字符的ascii码	select ascii(‘abc’)	97
asin	反正弦函数	select asin（2）from src limit 1;	空值
assert_true	如果’condition’不为真，则抛出异常。	SELECT assert_true（x> = 0）FROM src LIMIT 1;	空值
atan	- 返回x的atan（arctan）（x是弧度）	SELECT atan（0）FROM src LIMIT 1;	0
avg	平均值统计函数	select avg(数值字段)
base64	将参数从二进制转换为base 64字符串
between	在[NOT] BETWEEN b和c之间 - 评估a是否在b和c之间
bin	二进制函数	select bin(4)	100
case	条件判断函数	case a when b then c [when d then e] [else f] END	如果a=b就返回c,a=d就返回e，否则返回f
cbrt	返回double值的立方根。	SELECT cbrt（27.0）;	3.0
ceil	向上取整函数，返回等于或者大于该double变量的最小的整数	select ceil(6.1);	7
ceiling	向上取整函数，返回等于或者大于该double变量的最小的整数	select ceil(6.2);	7
coalesce	非空查找函数,返回第一非null的值	coalesce(null,1,2)	1
collect_list	集合不去重函数	将 rst字段合并成一个数组,不去重
collect_set	集合去重数	rst字段进行合并成一个数组，去重
compute_stats	返回一组基本类型值的统计摘要
concat	字符串连接函数	select concat(‘ab’,‘c’,‘d’)	abcd
concat_ws	带分隔符字符串连接函数/数组转换成字符串的函数	select concat(’.’,‘ab’,‘c’,‘d’)	ab.c.d
context_ngrams
conv	进制转换函数conv(BIGINT num, int from_base, int to_base)	select conv(17,10,2)	10001
corr	返回组数字对之间的Pearson相关系数该函数将任意一对数字类型作为参数，并返回一个double。任何具有NULL的对都将被忽略。如果应用于空集：返回NULL。	如果N * SUM（x * x）= SUM（x）* SUM（x）：返回NULL。
如果N * SUM（y * y）= SUM（y）* SUM（y）：返回NULL。
cos	返回x的余弦值（x是弧度）	SELECT cos（0）FROM src LIMIT 1	1
count	个数统计函数	select count(*)
covar_pop	返回一组数字对的总体协方差该函数将任意一对数字类型作为参数，并返回一个double.任何具有NULL的对都将被忽略。如果该函数应用于空集，则返回NULL 。否则，它计算以下内容:（SUM（x * y）-SUM（x）* SUM（y）/ COUNT（x，y））/ COUNT（x，y）其中x和y都不为空。
covar_samp	covar_samp（x，y） - 返回一组数字对的样本协方差该函数将任意一对数字类型作为参数，并返回一个double。任何具有NULL的对都将被忽略。如果应用于空集：返回NULL。如果应用于具有单个元素的集合：将返回NULL。	（SUM（x * y）-SUM（x）* SUM（y）/ COUNT（x，y））/（COUNT（x，y）-1）其中x和y都不为null 。	1
crc32	计算字符串或二进制参数的循环冗余校验值并返回bigint值。	SELECT crc32（‘ABC’）;	2743272264
create_union	create_union (tag, val1, val2, …) 使用给定的 tag 和表达式，构造一个 union类型数据结构。tag 表示使用第 tag 个	select create_union(0,‘ss’,array(1,2,3))	{0:“ss”}
cume_dist
current_database	当前使用数据库名称返回
current_date	当前日期	select current_date()	2020/8/29
current_timestamp	当前的日期加时间	select current_timestamp	2020/8/29 15:15
current_user	返回当前用户名	select current_user	root
date_add	日期加天数	select date_add(‘2020-8-29’,1)	2020/8/30
date_format	日期格式fmt指定的格式将日期/时间戳/字符串转换为字符串值。	SELECT date_format（‘2015-04-08’，‘y’）;	‘2015’
date_sub	日期减天数	select date_sub(‘2020-8-29’,1)	2020/8/28
datediff	两个日期相差的天数	select datediff(‘2020-8-29’,1)	2020/8/28
day	日期转天函数	select day(‘2020-8-29 13:50:9’)	29
dayofmonth	当前时间是一个月中的第几天	SELECT dayofmonth（‘2009-07-30’）FROM src LIMIT 1;	29
dayofweek	返回日期/时间戳的星期几	SELECT dayofweek （‘2009-07-30’）FROM src LIMIT 1	五
decode	使用第二个参数字符集解码第一个参数字符集的可能选项是’US-ASCII’，‘ISO-8859-1’，‘UTF-8’，‘UTF-16BE’， ‘UTF-16LE’和’UTF-16’。如果任一参数为null，则结果也将为null
degrees	将弧度转换为度数	SELECT degrees（30）FROM src LIMIT 1	-1
dense_rank	函数’dense_rank’没有文档
div	将a除以b舍入为长整数	SELECT 3 div 2 FROM src LIMIT 1;	1
e	返回E	SELECT e（）FROM src LIMIT 1;	2.718281828459045
elt	返回第n个字符串	SELECT elt（1，‘face’，‘book’）FROM src LIMIT 1;	‘面对’
encode	使用第二个参数字符集对第一个参数进行编码字符集的可能选项是“US-ASCII”，“ISO-8859-1”，“UTF-8”“UTF-16BE”， ‘UTF-16LE’和’UTF-16’。如果任一参数为null，则结果也将为null
ewah_bitmap	使用第二个参数字符集对第一个参数进行编码字符集的可能选项是“US-ASCII”，“ISO-8859-1”“UTF-8”，“UTF-16BE”， ‘UTF-16LE’和’UTF-16’。如果任一参数为null，则结果也将为null
ewah_bitmap	返回列的EWAH压缩位图表示。
ewah_bitmap_and	ewah_bitmap_and（b1，b2） - 返回EWAH压缩的位图，该位图是两个位图的按位AND。
ewah_bitmap_empty	ewah_bitmap_empty（bitmap） - 测试EWAH压缩位图是否全为零的谓词
ewah_bitmap_or	ewah_bitmap_or（b1，b2） - 返回EWAH压缩位图，该位图是两个位图的按位OR
exp	自然指数函数，返回自然对数e的a次方	select exp(1) from dual	2.718281828
explode	字符串分割，或者将array或者map展开	select !true	FALSE
field	返回str1，str2，…列表中str的索引或0如果未找到则支持所有基元类型，使用str.equals（x）比较参数。如果str为NULL，则返回值为0
find_in_set	返回str_array中str的第一个匹配项，其中str_array是逗号分隔的字符串。如果任一参数为null，则返回null。如果第一个参数有逗号，则返回0。	SELECT find_in_set（‘ab’，‘abc，b，ab，c，def’）FROM src LIMIT 1;	3
first_value
floor	向下取整函数，返回等于或者小于该double变量的最大的整数	select floor(3.14) ;	3
format_number	将数字X格式化为’＃，###，###。##'等格式	SELECT format_number（12332.123456,4）	‘12,332.1235’
from_unixtime	以指定的格式返回unix_time	SELECT from_unixtime（0，‘yyyy-MM-dd HH：mm：ss’）FROM src LIMIT 1	‘1970-01-01 00:00:00’
from_utc_timestamp	假设给定的时间戳是UTC并转换为给定的时区（从Hive 0.8.0开始）
get_json_object	json 解析函数：	get_json_object(string json_string, string path)	解析json的字符串json_string,返回path指定的内容
greatest
hash	返回参数的哈希值
hex	十六进制函数	select hex(17)	11
histogram_numeric	直方图/近似中位数函数percentile_approx(DOUBLE col, p [, B])	可以输入多个百分位数，返回类型也为array/可以输入多个百分位数，返回类型也为array	FALSE
hour	日期转小时函数	select hour(‘2020-8-29 13:50:9’)	13
if	if条件判断，类似于三元表达式	if( 1 is null,‘a’,‘b’ )	b
in_file	如果str出现在文件中，则返回true
index	返回a的第n个元素
initcap	返回str，每个单词的第一个字母用大写字母表示，所有其他字母用小写字母表示。单词由空格分隔。	SELECT initcap（‘tHe soap’）FROM src LIMIT 1;	'肥皂
inline	将数据和结构分解为表
instr	返回str中第一次出现substr的索引	SELECT instr（‘Facebook’，‘boo’）	5
isnotnull	是否不为空	isnotnull ( a )	如果a为非null就返回true，否则返回false
isnull	是否为空	isnull( a )	如果a为null就返回true，否则返回false
java_method	使用反射调用方法 同义词：reflect使用此UDF通过匹配参数签名来调用Java方法
json_tuple	get_json_object类似，但它需要多个名称并返回一个元组。所有输入参数和输出列类型都是字符串
lag	G函数用于访问前一行的数据。	选择p1.p_mfgr，p1.p_name，p1.p_size， p1.p_size - lag（p1.p_size，1，p1.p_size）over（由p1.p_mfgr按p1.p_name排序）作为deltaSz 从part p1 join p1.p_partkey = p2.p_partkey上的p2部分
last_day	日期的当月的最后一天	SELECT last_day（‘2009-01-12’）FROM src LIMIT 1;	‘2009-01-31’
last_value
lcase	返回str，所有字符都改为小写	SELECT lcase（‘Facebook’）FROM src LIMIT 1;	“Facebook的
lead	LEAD函数用于从下一行返回数据。	p_name，p_retailprice，lead（p_retailprice）over（）为l1，lag（p_retailprice）over（）为l2，其中p_retailprice = 1173.15
least	返回值列表中的最小值	SELECT least（2,3,1）FROM src LIMIT 1;	1
length	字符串长度函数	select length(‘abcedfg’)	7
levenshtein	该函数计算两个弦之间的Levenshtein距离。
like	检查str是否匹配模式	SELECT a.* FROM srcpart a WHERE a.hr like’％2’LIMIT 1;	27 val_27 2008-04-08 12
ln	返回x的自然对数	SELECT ln（1）FROM src LIMIT 1;	0
locate	返回位置pos后str中第一次出现substr的位置	SELECT locate（‘bar’，‘foobarbar’，5)	7
log10	以 10 为底对数函数	select log10(1000	3
log2	以 2 为底对数函数	select log2(8)	3
logged_in_user	返回登录的用户名
lower	字符串转小写函数	select lower(‘AB’)	ab
lpad	左补足函数	select lpad(‘abc’,3,‘d’)	将’abc’进行用d进行左补足到4位：dabc
ltrim	左边去空格函数	SELECT ltrim（‘facebook’）FROM src LIMIT 1;	“Facebook
map	集合构造	select map(‘a’,‘1’,‘b’,‘2’)	{“a”:“2”,“b”:“1”}
map_keys	返回map中的key	select map_keys(map(‘name’,‘chang’,‘age’,‘18’,‘hobbies’,‘swimming’))	[“name”,“age”,“hobbies”]
map_values	返回map中的value	select map_values(map(‘name’,‘chang’,‘age’,‘18’,‘hobbies’,‘swimming’))	[“chang”,“18”,“swimming”]
max	最大值统计函数	select max(数值字段)
min	最小值统计函数	select min(数值字段)
minute	日期转分钟函数	select minute(‘2020-8-29 13:50:9’)	50
month	日期转月函数	select month(‘2020-8-29 13:50:9’)	8
months_between	返回date1和date2之间的月数。	select months_between(‘2020-01-01’,‘2020-02-01’)	1
named_struct	named_struct（name1，val1，name2，val2，…） - 使用给定的字段名称和值创建结构
negative	取相反数	select negative(-9)	9
next_day	返回晚于start_date并按指示命名的第一个日期。	SELECT next_day（‘2015-01-14’，‘TU’）FROM src LIMIT 1;	“2015年1月20日”
ngrams	估计由字符串序列组成的行中的前k个n-gram，表示为字符串数组或字符串数​​组数组。'pf’是一个可选的精度因子，用于控制内存使用量。参数’n’指定估计什么类型的n-gram。Unigrams是n = 1，并且bigrams是n = 2.通常，n不会大于约5.'k’参数指定UDAF将返回多少个最高频率的n-gram。可选的精度因子’pf’指定用于估计的内存量; 更多的内存将提供更准确的频率计数，但可能会使JVM崩溃。默认值为20，内部保持20 * k n-gram，但仅返回k个最高频率的值。输出是一组具有前n个n-gram的结构。爆炸（）这个UDAF的输出可能很方便。
noop
noopstreaming
noopwithmap
noopwithmapstreaming
not	逻辑否
ntile
nvl	nvl(T value, T default_value)	如果value值为NULL就返回default_value,否则返回value
or	逻辑或
parse_url	?URL 解析函数	parse_url(string urlString, string partToExtract [, stringkeyToExtract])	partToExtract的有效值为：HOST, PATH, QUERY, REF, PROTOCOL, AUTHORITY, FILE, and USERINFO.
parse_url_tuple	从URL中提取N（N> = 1）个部分。它需要一个URL和一个或多个部件名，并返回一个元组。所有输入参数和输出列类型都是字符串。
percent_rank
percentile	返回pc上expr的百分位数（范围：[0,1]）。pc可以是double或double数组
percentile_approx	近似中位数函数	求近似的第pth个百分位数，p必须介于0和1之间
pi	返回pi	SELECT pi（）FROM src LIMIT 1;	3.14159 …
pmod	正取余函数	select pmod(9,4)	1
posexplode	表现得像数组爆炸，但包括原始数组中项目的位置
positive	返回数值本身	select positive(-5)	5
pow	幂运算函数	select pow(2,3)	8
power	幂运算函数	select pow(2,4)	16
printf	可以根据printf样式格式字符串格式化字符串的函数	SELECT printf（“Hello World％d％s”，100，“days”）	“Hello World 100天”
radians	将度数转换为弧度	SELECT radians（90）FROM src LIMIT 1;	1.5707963267949mo
rand	取随机数函数，返回一个0到1范围内的随机数	select rand() from dual;	0.2599644
rank
reflect	使用反射调用方法，同义词：java_method使用此UDF通过匹配参数签名来调用Java方法
reflect2	使用反射调用arg0的方法使用此UDF通过匹配参数签名来调用Java方法
regexp	果str匹配regexp则返回true，否则返回false	SELECT’fb’reexx ‘’*'FROM src LIMIT 1;	true
regexp_extract	正则表达式解析函数,将字符串subject按照pattern正则表达式的规则拆分	regexp_extract(string subject, string pattern, int index)
regexp_replace	正则表达式替换函数,将字符串A中的符合java正则表达式B的部分替换为C	regexp_replace(string A, string B, string C)：select regexp_replace(‘abc’, ‘a’, ‘v’)	vbc
repeat	重复字符串函数	select repeat(‘a’,2)	aa
reverse	字符串反转函数	select reverse(‘abc’)	cba
rlike	如果str匹配regexp则返回true，否则返回false
round	取整函数，返回double类型的整数值部分 （遵循四舍五入）	select round(2.5674)/select round(2.5674,3);	3/2.567
row_number
rpad	右补足函数	select lpad(‘abc’,3,‘d’)	将’abc’进行用d进行右补足到4位：abcd
rtrim	左边去空格函数	SELECT rtrim（‘facebook’）FROM src LIMIT 1;	“Facebook的
second	日期转秒函数	select second(‘2020-8-29 13:50:9’)	9
sentences	将字符串中内容按语句分组，每个单词间以逗号分隔，最后返回数组	sentences(‘Hello there! How are you?’)	( (“Hello”, “there”), (“How”, “are”,“you”) )
sha2	算SHA-2系列散列函数（SHA-224，SHA-256，SHA-384和SHA-512）。第一个参数是要进行哈希处理的字符串或二进制文件。第二个参数表示结果的所需位长度，其值必须为224,256,384,512或0（相当于256）。从Java 8开始支持SHA-224。如果任一参数为NULL或散列长度不是允许值之一，则返回值为NULL。
sign	返回x的符号	SELECT sign（40）FROM src LIMIT 1;	1
sin	正弦函数	SELECT sin（0）FROM src LIMIT 1;	0
size	类型大小(map/array)	select size(array(‘a’,‘b’))	2
sort_array	根据数组元素的自然顺序按升序对输入数组进行排序。	SELECT sort_array（array（‘b’，‘d’，‘c’，‘a’））FROM src LIMIT 1;	‘A B C D’
soundex	返回字符串的soundex代码。soundex代码由名称的第一个字母后跟三个数字组成。	SELECT soundex（‘Miller’）;	M460
space	空格字符串函数	select space(10)	10个空格
split	分割字符串函数	select split(‘abcabcd’,‘c’)	[“ab”,“ab”,“d”]
sqrt	开平方函数	select sqrt(9)	3
stack	将k列转换为n行，每行大小为k / n
std	返回一组数字的标准偏差
stddev	返回一组数字的标准偏差
stddev_pop	返回一组数字的标准偏差
stddev_samp	返回一组数字的样本标准差
str_to_map	通过解析文本使用两个分隔符将文本拆分为键值对来创建映射,第一个分隔符分隔对，第二个分隔符分配键和值。如果只给出一个参数，则使用默认分隔符：’,‘作为delimiter1，’:'作为delimiter2
struct	struct 构造函数	STRUCTprovince:STRING,city:STRING,district:STRING,detail:STRING
substr	字符串截取函数	select substr(‘abcde’,3) :select substr(‘abcde’,3,2)	cde:cd
substring	字符串截取函数	select substring(‘abcde’,3)	cde
sum	总和统计函数	select sum(xxx)
tan	返回x的正切（x是弧度）	SELECT tan（0）FROM src LIMIT 1;	1
to_date	抽取日期部分	select to_date(‘2020-8-29 09:30:29’)	2020/8/29
to_unix_timestamp	返回UNIX时间戳将指定时间转换为自1970-01-01以来的秒数。
to_utc_timestamp	假设给定时间戳在给定时区内并转换为UTC（从Hive 0.8.0开始）
translate	通过将from字符串中的字符替换为to字符串中的相应字符来转换输入字符串	translate（‘abcdef’，‘ada’，‘192’）返回’1bc9ef’将’a’替换为’1’，将’d’替换为’9’
trim	从str中删除前导和尾随空格字符	SELECT trim（‘facebook’）FROM src LIMIT 1;	“Facebook的"
trunc	返回如果输入是日期，则返回日期，其中当天的时间部分被截断为格式模型fmt指定的单位。如果省略fmt，则日期将截断为最近的一天。它目前仅支持’MONTH’/‘MON’/‘MM’，‘QUARTER’/‘Q’和’YEAR’/‘YYYY’/'YY’作为格式。如果输入是数字组，则返回N截断为D十进制地方。如果省略D，则N被截断为0位.D可以是负截断（使零）小数点左边的D位。	SELECT trunc(‘2009-02-12’, ‘MM’);	‘2009-02-01’
ucase	字符串转大写函数	select upper(‘ab’)	AB
unbase64	base64 解码函数	select unhex(‘616263’)	abc
unhex	反转十六进制函数
unix_timestamp	获取当前/日期/指定格式日期转 UNIX 时间戳函数	select from_unixtime(1323308943,‘yyyyMMdd’)	1323423425
upper	字符串转大写函数	select upper(‘ab’)	AB
uuid	返回通用唯一标识符（UUID）字符串。该值作为规范的UUID 36字符字符串返回。	SELECT uuid（）;	‘0baf1f52-53df-487f-8292-99a03716b688’
var_pop	非空集合总体变量函数	统计结果集中col非空集合的总体变量
var_samp	非空集合样本变量函数	统计结果集中col非空集合的样本变量
variance	返回一组数字的方差
version	返回Hive构建版本字符串 - 包括基本版本和修订版本。
weekofyear	当前时间是一年中的第几周	select weekofyear(‘2020-8-29 09:30:29’)	35
when
windowingtablefunction
xpath	xpath（xml，xpath） - 返回xml节点中与xpath表达式匹配的值的字符串数组	SELECT xpath（’ b1 </ b> b2 </ b> b3 </ b> c1 </ c> c2 </ c> '，‘a / c / text（）’）FROM src LIMIT 1	[“c1”，“c2”]
xpath_boolean	xpath_boolean（xml，xpath） - 计算布尔xpath表达式	SELECT xpath_boolean（’ 1 </ b> '，‘a / b’）FROM src LIMIT 1;	TRUE
xpath_double	xpath_double（xml，xpath） - 返回与xpath表达式匹配的double值	SELECT xpath_double（’ 1 </ b> 2 </ b> ’ ，‘sum（a / b）’） from src LIMIT 1;	3
xpath_float	xpath_float（xml，xpath） - 返回与xpath表达式匹配的浮点值	SELECT xpath_float（’ 1 </ b> 2 </ b> '，‘sum （a / b）’）FROM src LIMIT 1;	3
xpath_int	xpath_int（xml，xpath） - 返回与xpath表达式匹配的整数值	SELECT xpath_int（’ 1 </ b> 2 </ b> '，‘sum （a / b）’）FROM src LIMIT 1;	3
xpath_long	path_long（xml，xpath） - 返回与xpath表达式匹配的long值	SELECT xpath_long（’ 1 </ b> 2 </ b> '，‘sum （a / b）’）FROM src LIMIT 1;	3
xpath_number	xpath_number（xml，xpath） - 返回与xpath表达式匹配的double值	SELECT xpath_number（’ 1 </ b> 2 </ b> ’ ，‘sum（a / b）’）from src LIMIT 1;	3
xpath_short	xpath_short（xml，xpath） - 返回与xpath表达式匹配的short值	SELECT xpath_short（’ 1 </ b> 2 </ b> '，‘sum （a / b）’）FROM src LIMIT 1;	3
xpath_string	xpath（xml，xpath） - 返回xml节点中与xpath表达式匹配的值的字符串数组	SELECT xpath_string（’ b </ b> cc </ c> </ a >’，‘a / c’）FROM src LIMIT 1;	‘B1B2’
year	日期转年函数	select year(‘2020-8-29 13:00:49’)	2020
~	位取反操作
		位或操作