HIVE中方法总结

最新推荐文章于 2024-12-11 17:49:58 发布

关掉别看了，再学就秃啦！

最新推荐文章于 2024-12-11 17:49:58 发布

阅读量767

点赞数

分类专栏：方法文章标签： hive 大数据

本文链接：https://blog.csdn.net/YYDS_emmm/article/details/118341423

版权

方法专栏收录该内容

1 篇文章 0 订阅

订阅专栏

HIVE中方法总结

数学函数


	1.pmod(n,m)
	例子:
   	select pmod(-3,5) =>2   (-3+n*5)%5 n的取值为1到表达式第一次为正值的值
	2.rand(seed)  伪随机  种子固定值固定
   ♥3.sign(number)  取表达式的符号  负数-->-1 正数-->+1 0-->0
   ♥4.negative(number)  -5-->5   返回数值相反数
	5.positive(number)  -5-->-5  返回数值本身
 ♥♥♥6.round:四舍五入 floor:舍小数、取整数 ceil:无论小数多大，整数+1
	7.bin(十进制数值)  转二进制
   ♥8.conv(12,10,2)  把12从十进制转到二进制
  ♥♥9.greatest(3,2,1,5)  返回5 返回参数列表的最大值
 ♥♥10.least(3,2,1,5)    返回1 返回参数列表的的最小值
	11.bround(2.5)->2  bround(3.5)->4  只有在小数为5的时候整数部分为计数则+1偶数则不变  
	12.shiftleft(bight|int,int) 左移
	13.shiftright(bight|int,int)右移

字符串函数

 ♥♥♥1.concat(int|string|...) 支持混合类型
 ♥♥♥2.concat_ws(':','','') 指定分隔符：，只支持string 或 array<string>
 ♥♥♥3.substr(string,pos int[,length])  截取字符串  从1开始
 ♥♥♥4.locat（'子字符串','父字符串'[,pos]） 从pos开始找到子字符串首次出现首字母的位置  没有则返回0
	5.instr('父字符串','子字符串')找到子字符串在夫字符串中首次出现首字母的位置  没有则返回0
 ♥♥♥6.replace(str,substr,rep) 将str中的所有substr替换为rep
 ♥♥♥7.regexp_replace(str,regex,rep)将str中满足regex的内同替换为rep
	8.sentences('str') 将str以标点符号作为第一个维度分割，再以空格作为第二个维度的分割，将str拆分为一个二维数组
	9. ngrams(二维数组，int n,int topk) 将数组中连续n个单词做词频统计并倒序排序，将topk的数据返回 
	   ngrams和sentences经常一起连用，如：ngrams(sentences('str'))
	10.context_ngrams(二维数组，占位数组，int topk)针对二维数组中连续存在占位数组中非null内容匹配统计，按数量奥徐排序，将topk的数据返回
	11.encode('string','UTF-8') 将字符串转换为指定编码内容
 ♥♥♥12.cast(exp as type) 将exp转为type的值
  ♥♥13.get_json_object(string json_tuple,string path)  提取json格式字符串中指定key的值  path{key:value}:'$.key'
	例子：
		get_json_object('{"name":"henry","hobbies":["s","a","c"],"address":{"province":"js","city":"nj"}}','$.address.city')
		【一次解析一项但可以多层】
		+------+
		| _c0  |
		+------+
		| js   |
		+------+
  ♥♥14.json_tuple(string json,string ...ps) 提取json字符串中指定key列表的值
	例子：
		json_tuple('{"name":"henry","hobbies":["s","a","c"],"address":{"province":"js","city":"nj"}}','name','hobbies','address')
		【可以解析多项但只可以解析一层】
		+--------+----------------+--------------------------------+
		|   c0   |       c1       |               c2               |
		+--------+----------------+--------------------------------+
		| henry  | ["s","a","c"]  | {"province":"js","city":"nj"}  |
		+--------+----------------+--------------------------------+
	15.in_file(string line,string filepath) 返回字符串内容是否存在与指定路径文件中 
	16.parse_url(string urlstring,string part[,string key]) 
		#解析url根据part提取内容，当part为QUERY时添加key进行单独键的值提取
		#part：PROTOCOL,HOST,QUERY,REF,PATH,USERINFO
	17.printf('%s,%d,%.2f','') 格式化字符串   %s 字符串,%d 整数,%.2f 小数
	18.string rlike regex  
		select '{"name":"chen","age":"18"}' rlike '^..*?"age":"\\d+".*?$'; => true
  ♥♥19 regexp_extract(string,group_regex,pos) 根据group_regex匹配string提取第pos个元素
		select regexp_extract('{"name":"chen","age":"18"}','\\{"name":"(.*?)","age":"(.*?)"\\}',2);
 ♥♥♥20 split (string,regex) 根据正则regex分割字符串，支持多字符分割
	21 str_to_map(string cnt,string kvssep,string kvsep)
		将字符串cnt使用kvssep作为键值对之间分隔符kvsep作为键和值的分隔符转化为map对象
	22.translate(string,from,to)按照from同位置将string中的内容替换为to的内容
	23.initcap(string) 首字母大写
	24.md5(concat('salt_prefix','field','salt_suffix')) 非对称加密，不可逆
	25.unbase64(binary('string')) 将string字符串使用base64加密  简单的对称加密
	26.base64(string)  将string字符换使用base64解密
	27.base64(aes_encrypt(string cnt,string secretkey)) secretkey的长度 16+8n
		
		select base64(aes_encrypt('iloveyou','kb12456745674567'));
		+---------------------------+
		|            _c0            |
		+---------------------------+
		| mwdKZSvtJjDmhD37RtTP7g==  |
		+---------------------------+

	
	28.aes_decrypt(unbase64(''),'')
		select aes_decrypt(unbase64('mwdKZSvtJjDmhD37RtTP7g=='),'kb12456745674567');

集合函数

  ♥♥1.size(array/map) 返回集合元素的数量
   ♥2.array_countains(array,item) 返回数组中是否包含元素item
  ♥♥3.array(item,...,item) 返回多个元素的数组
  ♥♥4.map('k1','v1'...,'kn','vn')返回多个元素的键值对 
	5.struct(v1,..,vn)  返回多个元素的结构体（自动追加列col1,...coln）
	6.map_keys(map)  返回键值对的键集合
	7.map_values(map) 返回键值对的值集合
   ♥8.sort_array(array) 返回数组升序排序后的结果

日期函数

 ♥♥♥1.current_date() 返回当前日期
	  current_timestamp() 返回系统当前日期的完整格式
	  unix_timestamp() 返回系统当前时间戳（单位为秒）
	  unix_timestamp(string|date|datetime|timestamp,date_format) 
	  如果只有参数1返回参数1的完整格式对应的时间戳
	  如果有两个参数，返回参数1对应参数2格式的时间戳
 ♥♥♥2.date_add(current_date(),int days) 返回start_date之后第days天的日期 
	  add_months(string|date|datetime|timestamp,int months) 返回start_date之后第months月的日期
 ♥♥♥3.datediff(big_date,small_date) 返回两个日期之间的天数差值
 ♥♥♥4.from_unixtime(bigint[,'yyyy-MM-dd']) 返回时间戳对应的格式字符串信息
	  date_format(string|date|datetime|timestamp,date_format)返回日期对应的格式字符串
	5.to_date(string|datetime|timestamp) 返回日期的年月日
  ♥♥6.next_day(string|date|datetime|timestamp,weekday) 返回距离指定日期最近的下一个weekday
   ♥7.last_day(string|date|datetime|timestamp) 返回参数日期所属月份最后一天的日期
		年最后一天 concat(year(current_date()),'-12-31')
		季度最后一天 date_add(add_months(trunc(current_date(),'Q'),3),-1)
		周最后一天  data_add(next_day(current_date(),'mo'),-1)
 ♥♥♥8.trunc(string|date|datetime|timestamp,part) 返回参数1对应参数2单位的第一天日期
	  part: YY => 年；Q =>季度 ；MM =>月
	        date_add(next_day(current_date(),'mo'),-7)  => 返回参数日期所属周的第一天日期
	9.months_between(big_date,small_date)  返回两个日期之间的月数差

条件函数

 ♥♥♥1.if(condition,true_val,false_val)  双重分支，相当于三元运算符
  ♥♥2.case field when v1 then s1 when v2 then s2  else sn end  等值判断多分支
	  case when field>=v1 then s1 ... else sn send  区间判断多分枝
  ♥♥3.nvl(field,default_val)    field==null?default_val:field
	4.coalesce(T...vs) 返回参数列表中第一个非空值
	5.isnull(field) 返回field列表是否为空
	6.isnotnull(field)返回field列表是否不为空

聚合函数

 ♥♥♥ 都比较重要
 	1.sum(field)
	2.avg(field)
	3.count(field)
	4.min(field)
	5.max(field)
	6.collect_list(field) 列举
	7.colletc_set(field) 去重
	8.var_pop(numField) 方差
	9.stddev_pop(numField) 标准差
	10.covar_pop(numBaseField,numField)协方差
	方差和标准差用于判断数据离散程度及稳定性
	协方差用于与之前数据比较，得出增长情况

窗口函数

	注意窗口函数不支持window子句
 ♥♥♥1.row_number()
 ♥♥♥2.rank() 
 ♥♥♥3.dense_rank() 同分并列
	4.ntile()
 ♥♥♥5.lag(field,nth,defaultVal) 往前取第n个数据
 ♥♥♥6.lead(field,nth,defaultVal) 往后取第n个数据
	7.first_value(field)
	8.last_value(field)
	9.nth_value(field,nth)

		
	#over重句
		over([partition by field [order by field]] rows between ... and ...)
		...
		#window子句
		unbounded_preceeding
		n preceding
		current row
		n following
		unbounded_following

炸裂函数（侧视图）

select ... from table_name lateral view explode(field) lv_alias as item_alias;
select ... from table_name lateral view posexplode(field) lv_alias as pos,item_alias;
例子：
-------------------------------------------------------------------------------------------------		
create table shop
(id int,
name string,
json_log string,
visit_url string)
row format delimited 
fields terminated by '\t'  
stored as textfile 
location '/test/shop';
			
select 
id,name,vd,vp,sd
from shop
lateral view json_tuple(json_log,'visit_date','visit_product','suspending_duration') lv_jl as vd,vp,sd;
		
select 
id,name,protocol,host,qkey,qval
from shop
lateral view parse_url_tuple(visit_url,'PROTOCOL','HOST','QUERY') lv_multi as protocol,host,query
lateral view  explode(str_to_map(query,'&','='))lv_query_map as qkey,qval;
	
----------------------------------------------------------------------------------------------------