![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
cysgdsg
这个作者很懒,什么都没留下…
展开
-
hive的内嵌函数
注:以下是本人个人总结的,常用的一些hive的内嵌函数,可能有不足的,欢迎补充。 1.聚集函数 sum() --取字段数值的汇总 max() --取字段的最大值 min() --取字段的最小值 avg() --取字段数值的所有平均值 count() --统计字段的总个数 注:一般聚集函数会和分组函数(group by)一起使用,而且使用分组函数后,查询 的字段也只能出现分组字段和聚集函数。 2....原创 2019-05-08 10:49:43 · 934 阅读 · 0 评论 -
hive数据倾斜
hive数据倾斜:基本可以理解为hive在处理数据时候,由于数据分布不均匀导致处理数据处理时间过长。 注释:想要详细了解的朋友建议先去看看mapreduce的运行原理 hive在处理数据时候,map端将hdfs上数据处理完会以<k ,v>的格式传给reduce端,由于可能某一部分的k值可能特别的多,某些特别少,导致某一部分reduce处理数据时间特别长,从而产生数据倾斜。 1数据倾斜的...转载 2019-05-10 17:35:54 · 167 阅读 · 0 评论