数学函数
- 对数函数：log
log(double base,double a)
返回值：double
返回base为底的a的对数
hive> select log(2，16);
4.0
- 幂运算函数: pow
语法: pow(double a, double p)
返回值: double
说明: 返回a的p次幂
hive> select pow(2,3);
18.0
- 进制转换函数: conv
语法: conv(bigint n, int from_base, int to_base)
返回值: string
说明: 将数值n从from_base进制转化到to_base进制
hive> select conv(17,10,16);
11
hive> select conv(17,10,2);
10001
- 取余函数: pmod
语法: pmod( a, b)
返回值: int / double
说明: a余b的结果
hive> select pmod(6,4) from iteblog;
2
- positive函数
语法: positive(int a), positive(double a)
返回值: int double
说明: 返回a
hive> select positive(-1);
-1
- 求相反数：negative
语法: negative(int a), negative(double a)
返回值: int double
说明: 返回-a
hive> select negative(8) ;
-8
- sign:返回符号
语法：sign(a)
说明：正数则返回1.0，是负数则返回-1.0，否则返回0.0
hive> select sign(7);
1.0
- 取整函数: round
语法: round(double a)
返回值: BIGINT
说明: 遵循四舍五入
hive> select round(3.5);
4
- 指定精度取整: round
语法: round(double a, int d)
返回值: DOUBLE
说明: 返回指定精度d的double类型
hive> select round(3.1415926,4) ;
3.1416
- 向下取整函数: floor
语法: floor(double a)
返回值: BIGINT
说明: 去除小数部分
hive> select floor(3.7);
3
- 向上取整函数: ceil
语法: ceil(double a)
返回值: BIGINT
说明: 返回等于或者大于该double变量的最小的整数
hive> select ceil(3.01) ;
4
- 随机数: rand
语法: rand()
返回值: double
说明: 范围（0~1）
0.7647828808267524
- 开方函数: sqrt
语法: sqrt(double a)
返回值: double
说明: 返回a的平方根
select sqrt(9);
3.0
- 银行家舍入法:bround
返回值：double
说明：（14：舍，69：进，前位是偶：舍，前位是奇：进）
select bround(2.5) = 2, bround(3.5) = 4.
保留n位小数 bround(double a,int d)
bround(8.25, 1) = 8.2, bround(8.35, 1) = 8.4
- 求最大值 greatest(T v1, T v2, …)
hive> select greatest(3,3.8,5,6.1);
6.1
- 求最小值 least(T v1, T v2, …)
hive> select least(2,3,6,7);
2
集合函数
- Map类型构建
语法: map (key1, value1, key2, value2, …)
hive> select map('k1','v1');
{"k1":"v1"}
- size(Map<k .V>)
返回值: int
说明: 返回map类型的长度
hive>select size(str_to_map('k1:v1'));
1
hive> select size(map('100','tom','101','mary'));
2
- map_keys(Map<K.V>)
返回结果：返回一个包含Map中所有Key的无序数组
hive> select map_keys(map('k1','v1','k2','v2'));
["k1","k2"]
- map_values(Map<K.V>)
说明：返回map中的所有value
hive> select map_values(str_to_map('k1:v1,k2:v2'));
["v2","v1"]
- array_contains(Array, value)
返回结果：如果Array中包含value，则返回True，否则返回False
返回类型：boolean
hive> select array_contains(array(1, 2), 3);
false
- sort_array(Array)
按自然顺序对数组进行排序并返回
hive> select sort_array(array(3, 2, 4));
[2,3,4]
- Struct(val1, val2, val3, …)
说明：根据输入的参数构建结构体struct类型
hive> select struct('s','g','w');
{"col1":"s","col2":"g","col3":"w"}
聚合函数
-
count(*)
#统计总行数，包括含有NULL值的行 -
count(expr)
#统计提供非NULL的expr表达式值的行数 -
求指定列和: sum()
-
求指定列平均值:avg()
-
求指定列最小值:min()
-
求指定列的最大值 max()
-
var_pop(col) #方差
-
var_sample(col) #样本方差
-
stddev_pop(col) #标准偏差
-
cover_pop(col1,col2) #协方差
-
studev_sample(col1,col2) #样本标准偏差
-
cover_sample() #样本协方差
-
corr(col1,col2) #两列数值的相关系数
-
double percentile(BIGINT col, p) #返回col的p%分位数
-
类型转换函数
语法: cast(expr as )
说明: 返回转换后的数据类型
hive> select cast(1 as bigint);
1
- 列转行
collect_list()
collect_set() #去重
条件函数
- If函数:
语法: if(boolean test, T1, T2)
返回值: T
说明: 当条件test为true时，返回T1；否则返回T2
hive> select if(1>2,100,200) ;
200
- 非空查找函数: coalesce
语法: COALESCE(T v1, T v2, …)
返回值: T
说明: 返回参数中第一个非空值；
hive> select coalesce(null,'nu',3);
nu
- 条件判断函数：CASE ***
一
语法:case a when b then c [when d then e]* [else f] end
返回值: T
说明：如果a等于b，那么返回c；如果a等于d，那么返回e；否则返回f
hive> select case 100 when 50 then 'herry' when 100 then 'tony' else 'jiji' end ;
tony
二
语法: case when a them b [when c then d]* [else e] end
返回值: T
说明：如果a为true,则返回b；如果c为true，则返回d；否则返回e
hive> select case when 1=2 then 'tom' when 2=2 then 'mary' else 'tim' end;
mary
- 空值转换函数
NVL(expr1, expr2)：
说明：如果expr1为NULL，返回值为 expr2，否则返回expr1。
hive> select nvl(null,1);
1
字符串函数
- 字符 ascii 码函数:ascii
语法: ascii(string str)
返回值: int
说明:返回字符串 str 中【第一个字符】的ascii 码
hive> select ascii('bt');
98
- 字符串连接函数:concat
语法: concat(string A, string B…)
hive> select concat(‘aa’,'bb’,'cc’);
aabbcc
- 带分隔符字符串连接函数:concat_ws
语法: concat_ws(分隔符, string A, string B…)
hive> select concat_ws('x','bb','cc');
bbxcc
- 小数位格式化成字符串函数: format_number
语法: format_number(number x, int d)
返回值: string
说明:将数值 x 的小数位格式化成 d 位,四舍五入
hive> select format_number(3.1415926,3);
3.142
- 字符串截取函数:substr,substring
语法: substr(string A, int start),substring(string A, intstart)
说明:返回 从 start 位置到结尾的字符串
hive> select substr('abcde',3);
cde
--
hive> select substr('abcde',-2);
de
- 字符串截取函数:substr,substring
语法: substr(string A, int start, int len),substring(string A, intstart, int len)
返回值: string
说明:返回字符串 A 从 start 位置开始,长度为 len 的字符串
hive> select substr('abcde',3,2) from test;
cd
- 去空格函数：trim
语法: trim(string A)
返回值: string
说明：去除字符串两边的空格
hive> select trim(' abc ');
abc
- 字符串长度函数：length
语法: length(string A)
返回值: int
说明：返回字符串A的长度
hive> select length('abcedfg') ;
7
- 字符串反转函数：reverse
语法: reverse(string A)
返回值: string
说明：返回字符串A的反转结果
hive> select reverse(abce’);
ecba
- 正则表达式替换函数：regexp_replace
语法: regexp_replace(string A, string B, string C)
说明：将字符串A中的符合java正则表达式B的部分替换为C。有些情况要使用转义符。
hive> select regexp_replace('foobar', 'oo|ar', '');
fb
- 正则表达式解析函数:regexp_extract
语法: regexp_extract(string subject, string pattern, intindex)
返回值: string
hive> select regexp_extract('foothebar','foo(.*?)(bar)', 1) ;
the
- 重复字符串函数：repeat
语法: repeat(string str, int n)
返回值: string
说明：返回重复n次后的str字符串
hive> select repeat('abc',5);
abcabcabcabcabc
- 分割字符串函数: split
语法: split(string str, string pat)
返回值: array
说明: 按照pat字符串分割str，会返回分割后的字符串数组
hive> select split('abtcdtef','t');
["ab","cd","ef"]
-
- 字符串查找函数: instr
语法: instr(string str, string substr)
说明:返回字符串 substr 在 str 中首次出现的位置
- 字符串查找函数: instr
hive> select instr('abcdf','df');
4
- 字符串查找函数:locate
语法: locate(string substr, string str[, int pos])
说明:返回字符串 substr 在 str 中从 pos 后查找,首次出现的位置
hive> select locate('a','abcda',1);
1
hive> select locate('a','abcda',2);
5
- 分词函数sentences(string str, string lang, string locale)
说明：将字符串中内容按语句分组，每个单词间以逗号分隔，最后返回数组。
hive> select sentences(‘Hello word! How are you?’);
( (“Hello”, “word”), (“How”, “are”, “you”) )
- ngrams(array<array>, int N, int K)
#按N个单词出现频次，倒序取TOP K
词频，连续1个单词倒序以后前2位
hive> select ngrams(sentences('hello world?how are you'),1,2);
{"ngram":["how"],"estfrequency":1.0},{"ngram":["you"],"estfrequency":1.0}]
- context_ngrams(array<array> arr,array,int k)
#与ngram类似，但context_ngram()允许你预算指定上下文(数组)来去查找子序列
#与array中指定单词之后配合出现的频次，倒序取TOP K
hive> select context_ngrams(sentences('hello kb10?how are youhello world,are you ok?'),array('you',null),2);
[{"ngram":["ok"],"estfrequency":1.0}]
- encode(string src, string charset)
#使用指定的字符集charset将字符串编码成二进制值
支持的字符集有：‘US-ASCII’, ‘ISO-8859-1’, ‘UTF-8’, ‘UTF-16BE’, ‘UTF-16LE’, ‘UTF-16’
hive> select encode('我爱中华','UTF-16BE');
br1N-SN
- decode(binary bin, string charset)
#字符集charset将二进制值bin解码成字符串
hive> select decode(encode('我爱中华','UTF-16BE'),'UTF-16BE');
我爱中华
- json 解析函数:get_json_object
语法: get_json_object(string json_string, string path)
返回值: string
说明:解析 json 的字符串json_string,返回 path 指定的内容。如果输入的 json 字符串无效,那么返回 NULL。
select get_json_object('{"name":"henry"}','$.name');
--- henry
select get_json_object('{"name":"henry","info":{"city":"nj"}}','$.info.city');
---nj
select get_json_object('{"name":"henry","info":["city","nj"]}','$.info[0]');
---city
- 集合查找函数: find_in_set
语法: find_in_set(string str, string strList)
返回值: int
说明: 返回str在strlist第一次出现的位置，strlist是用逗号分割的字符串。如果没有找该str字符，则返回0
hive> select find_in_set('ab','ef,ab,de');
2
hive> select find_in_set('at','ef,ab,de');
0
- printf(String format, T…t)
#按照printf风格格式输出字符串
hive> select printf("%08X",123)
---0000007B
hive> select printf('%s,%d,%.2f','henry',18,23456.789);
---henry,18,23456.79
- string translate(input, from, to)
将字符串input中的from换成to中的字符串
hive> select translate('abcabcabaac','ab','*#');
----*#c*#c*#**c
- 函数soundex()
函数计算字符串的 soundex 键
说明：通俗的讲是查看发音类似的单词
hive> select soundex('sam'),soundex('sum');
--S500 S500
- levenshtein
说明：描述两个等长字串之间对应位置上不同字符的个数
hive> select levenshtein('apple',awwle);
2
213
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
