Hive 之 内置函数

转自：http://blog.csdn.net/sunlei1980/article/details/46602425

一、关系函数
1.等值比较：=
    语法：A=B
操作类型：所有基本类型
2.不等值比较：<>
    语法：A<>B
    操作类型：所有基本类型
3.小于比较：<
    语法：A<B
操作类型：所有基本类型
4.空值判断：IS NULL
    语法：a is null
操作类型：所有类型
5.非空判断：IS NOT NULL
    语法：a is not null
    操作类型：所有基本类型
6.LIKE比较：LIKE
    语法：A LIKE B
    操作类型：strings
7.JAVA的LIKE操作：RLIKE
    语法：A RLIKE B
    操作类型：strings
    描述：如果字符串A或者字符串B为NULL，则返回NULL；如果字符串符合
    JAVA正则表达式B的正则语法，则为TRUE，否则为FALSE。
8.REGEXP操作：REGEXP
    语法：A REGEXP B
    操作类型：strings
    描述：功能与RLIKE相同

二、数学运算
1.加法操作：+
    语法：A+B
    操作类型：所有数值类型
2.减法操作：-
    语法：A-B
    操作类型：所有数值类型
3.取余操作：%
    语法：A%B
    操作类型：所有数值类型
4.位与操作：&
    语法：A&B
    操作类型：所有数值类型
5.位或操作：|
    语法：A|B
    操作类型：所有数值类型
6.位异或操作：^
    语法：A^B
    操作类型：所有数值类型
    说明：返回A和B按位进行异或操作的结果。结果的数值类型等于A的类型
    和B的类型的最小父类型。
    举例：
    hive>select 4^8 from sun_test;
    12
    hive>select 6^4 from sun_test;
    2
7.位取反操作：~
    语法：~A
    操作类型：所有数值类型

三、逻辑运算
1.逻辑与操作：AND
    语法：A AND B
    操作类型：boolean
2.逻辑或操作：OR
    语法：A OR B
    操作类型：boolean
3.逻辑非操作：NOT
    语法：NOT A
    操作类型：boolean

四、数值计算
1.取整函数：round
    语法：round(double a)
    返回值：BIGINT
    说明：返回double类型的整数值部分（遵循四舍五入）
举例：
    hive>select round(3.14) from sun_test;
    3
    hive>select round(3.23456,3) from sun_test;
    3.234
2.向下取整函数：floor
    说明：返回等于或者小于该double变量的最大的整数
    hive>select floor(3.56) from sun_test;
    3
3.向上取整函数：cel=il/ceiling
    说明：返回等于或者大于该double变量的最小的整数
    hive>select ceil(3.123) from sun_test;
    4
4.取随机数函数：rand
    说明：返回一个0到1范围内的随机数。
hive>select rand() from sun_test;
0.43253251532532
5.自然指数函数exp
    说明：返回自然对数e的a次方
hive>select exp(2) from sun_test;
7.38905609893065
6.以10为底对数函数:log10
    语法：log10(100)=2.0
7.幂运算函数：pow/power
    语法：pow(2,3)=8
8.开平方函数：sqrt
    语法：sqrt(16)=4
9.十六进制函数：hex
    语法：hex(BIGINT a)
说明：如果变量时int类型，那么返回a的16进制表示；如果变量时string类型，
则返回该字符串的10进制表示
hive>select hex(17) from sun_test;
11
hive>select hex('abc') from sun_test;
616263
10.进制转换函数：conv
    conv(17,10,16)=11
conv(17,10,2)=10001
11.绝对值函数：abs
    conv(-3.3)=3.3

五、字符串函数
1.字符串长度函数：length
    length('acbfa')=5
2.字符串反转函数：reverse
    reverse('abcde')=edcba
3.字符串链接函数：concat
    concat('aa','bb','cc')=aabbcc
4.带分隔符字符串连接函数：concat_ws
    concat_ws(',','aaa','bbb','ccc')=aaa,bbb,ccc
5.字符串截取函数：substr,substring
    substr('abcde',3)=cde
substr('abcde',-1)=e
substr('abcde',-2,2)=de
substr('abcde',3,2)=cd
6.字符串转大写函数：upper,ucase
7.字符串转小写函数：lower,lcase
8.去空格函数：trim()、ltrim()、rtrim()
9.正则表达式替换函数：regexp_replace
    regexp_replace('foobar','oo|ar','')=fb
10.正则表达式解析函数：regexp_extract
    语法: regexp_extract(string subject, string pattern, int index)
    返回值: string
    说明：将字符串subject按照pattern正则表达式的规则拆分，返回index指定的字符。
举例：
hive> select regexp_extract('foothebar', 'foo(.*?)(bar)', 1) fromlxw_dual;
    the
    hive> select regexp_extract('foothebar', 'foo(.*?)(bar)', 2) fromlxw_dual;
    bar
    hive> select regexp_extract('foothebar', 'foo(.*?)(bar)', 0) fromlxw_dual;
    foothebar
  注意，在有些情况下要使用转义字符，下面的等号要用双竖线转义，这是java正则表达式的规则。
    select data_field,
     regexp_extract(data_field,'.*?bgStart\\=([^&]+)',1) as aaa,
     regexp_extract(data_field,'.*?contentLoaded_headStart\\=([^&]+)',1) as bbb,
     regexp_extract(data_field,'.*?AppLoad2Req\\=([^&]+)',1) as ccc
     from pt_nginx_loginlog_st 
     where pt = '2012-03-26'limit 2;
14. URL解析函数：parse_url
    语法: parse_url(string urlString, string partToExtract [, stringkeyToExtract])
    返回值: string
    说明：返回URL中指定的部分。partToExtract的有效值为：HOST, PATH, QUERY, REF, PROTOCOL, AUTHORITY, FILE, and USERINFO.
    举例：
    hive> selectparse_url('http://facebook.com/path1/p.php?k1=v1&k2=v2#Ref1', 'HOST') fromlxw_dual;
    facebook.com
    hive> selectparse_url('http://facebook.com/path1/p.php?k1=v1&k2=v2#Ref1', 'QUERY','k1') from lxw_dual;
    v1
15. json解析函数：get_json_object
    语法: get_json_object(string json_string, string path)
    返回值: string
    说明：解析json的字符串json_string,返回path指定的内容。如果输入的json字符串无效，那么返回NULL。
    举例：
    hive> select get_json_object('{"store":
        >  {"fruit":\[{"weight":8,"type":"apple"},{"weight":9,"type":"pear"}],
        >   "bicycle":{"price":19.95,"color":"red"}
        >   },
        > "email":"amy@only_for_json_udf_test.net",
        >  "owner":"amy"
        > }
        > ','$.owner') from lxw_dual;
    amy

六、其它
1.分割字符串函数：split
2.个数统计函数：count
3.总和统计函数：sum
4.平均值统计函数：avg
5.最小值统计函数：min
6.最大值统计函数：max
7.类型转换函数：cast