Apache Hive常用函数举例

一、字符函数

select concat('abc','cd','fff')				连接字符串
select instr('abcdef','bc')					返回字符串子字符串的位置  2
select length('adfs')						返回字符串长度
select lower('ABCDEF')						字符串改为小写
select upper('abcdef')						字符串改为大写
字符串正则替换
select regexp_replace('1999/5.6','[/|\\.]','-')			   	 		1999-5-6
select regexp_replace('1999-5-6 13:24:56.234','\\.[0-9]+','') 		1999-5-6 13:24:56		
select split('1999-5-6 13:24:56.234','\\.')[0]						1999-5-6 13:24:56	字符串分割
select substring('1999-5-6 13:24:56.234',1,8)						1999-5-6			固定字符串截取
select trim('1999-5-6 13:24:56.234  ')		去空
select str_to_map('a:b,c:d,e:{f:d}')     	按指定方式将字符串转换为map
select encode('你好','utf8')					按特定方式进行编码
select reverse('你好')						字符串反转
select ltrim(' abc')						左去空
select rtrim('abc  ')						右去空
字符串精确匹配截取
select regexp_extract('1999-5-6 13:24:56.001','([0-9]{4}-[0-9]{1,2}-[0-9]{1,2}) ([0-9]{1,2}:[0-9]{1,2}:[0-9]{1,2})(\\.[0-9]{2,3})',2)
											分组截取				13:24:56
select repeat('abc',3)         abcabcabc	字符串重复
select format_number(3.1415926,3)     3.142	保留小数后几位，四舍五入  / 数字格式化输出
select get_json_object('{"name":"zs","age":"40"}','$.name')		获取json字符串对象
select lpad('abcd',10,'0')		000000abcd						左填充到10个字符，不够截取左边几位
select parse_url('http://www.taobao.com','HOST')www.taobao.com	拿网址
select parse_url('http://www.taobao.com?userid=1&v=2','QUERY')  userid=1&v=2
select parse_url('http://www.taobao.com?userid=1&v=2','PROTOCOL')   http	拿协议
select sentences('hello world!how do you do')		[["hello","world"],["how","do","you","do"]]
select initcap('hello world, how do you do')  	以空格作分段，首字母大写	

二、数学函数

select round(2.14158,3)			2.142			保留3位小数，四舍五入
select floor(2.4158)   2						向下取整
select ceil(2.656)    3							向上取整
select rand(10)									种子不变生成的序列永远不变			
select pow(10,2)       100
select sqrt(4)      2						
select pmod(10,3)     1							求模，求余

三、类型转换函数

select cast("123" as string)		转换为string型

四、日期函数

select from_unixtime(1250111000,'yyyy-MM-dd')   				2009-08-13		
select from_unixtime(1250111000,'yyyy-MM-dd'),unix_timestamp()  1592192787
								获取时间戳，毫秒数
select from_unixtime(1250111000,'yyyy-MM-dd'),unix_timestamp('1970-1-1 8:00:00')   0
								时间戳从1970-1-1 8:00:00开始
								时间只能到秒，有毫秒直接舍掉
select to_date(from_unixtime(unix_timestamp()))    				当前时间戳到日期
select weekofyear(from_unixtime(unix_timestamp()))				今天是今年的多少周
select datediff(current_date(),'2020-5-20')     				当前日期，算出两者日期差
select date_add(current_date(),2)		加两天
select date_sub(current_date(),2)		减两天
select current_timestamp()				当前时间戳
select add_months(current_date(),7)					往后加7个月
select last_day(current_date()) 2020-6-30			本月最后一天
select next_day(current_date(),'SA')				下一个周几
select trunc(current_date(),'YY')  2020-01-01		截取年和月，保持日期格式
select months_between(current_date(),'2020-12-31')    -6.51612903
									前面减后面月份差
select date_format(current_date(),'M')            6				
select size(split('hello world how do you do',' '))  6  大小

四、条件函数

select if(1>2,"hello","world")    返回world
select nvl(null,10)，select nvl(1,10)	如果为null返回10，为1返回1
select coalesce(null,null,null,21,null,null,10)			返回第一个不为空的值
select case  when age < 25 then 0 else 1 end from userinfos
select case  when age < 25 then 0 when age > 28 then 1 else 2 end from userinfos
两种case语句写法
select isnull(null)      	true
select isnotnull(null)		false

四、表生成函数

select explode(split('hello,world',','))		生成表
hello
world

五、集合函数

size(Map<k.v>)		求map的长度

补充：

今天用zeppelin时遇到一点问题，

select count(*) from userinfos

问题描述

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

解决方案

关掉所有，在yarn-site.xml中加入
<property>
   <name>yarn.scheduler.minimum-allocation-mb</name>
   <value>2048</value>
</property>

继续报错

报 SemanticException [Error 10001]: Line 1:21 Table not found 'userinfos'错误
org.apache.hadoop.security.AccessControlException: Permission denied: user=hive, access=EXECUTE, inode="/tmp/hadoop-yarn":root:supergroup:drwx------

解决方案

hdfs dfs -chmod -R 777 /tmp/hadoop-yarn