hive
民谊玉超
make the change!
展开
-
Hive文件格式
原文链接 hive文件存储格式包括以下几类: 1、TEXTFILE 2、SEQUENCEFILE 3、RCFILE 4、ORCFILE(0.11以后出现) 其中TEXTFILE为默认格式,建表时不指定默认为这个格式,导入数据时会直接把数据文件拷贝到hdfs上不进行处理; SEQUENCEFILE,RCFILE,ORCFILE格式的表不能直接从本地文件导入数转载 2017-01-11 10:48:10 · 286 阅读 · 0 评论 -
hive-数据倾斜介绍
原文链接 hive在跑数据时经常会出现数据倾斜的情况,使的作业经常reduce完成在99%后一直卡住,最后的1%花了几个小时都没跑完,这种情况就很可能是数据倾斜的原因,解决方法要根据具体情况来选择具体的方案 1、join的key值发生倾斜,key值包含很多空值或是异常值 这种情况可以对异常值赋一个随机值来分散key 如: selectuserid , name转载 2017-01-11 14:11:51 · 374 阅读 · 0 评论 -
Hive2.0函数大全(中文版)
Hive2.0函数转载 2017-02-23 00:18:37 · 353 阅读 · 0 评论