![](https://img-blog.csdnimg.cn/2ca4714eae3c4896bf6d79e057ac9a74.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hive
文章平均质量分 92
hive相关技术
月苍.
这个作者很懒,什么都没留下…
展开
-
SQL开窗函数
窗口函数的语法:开窗函数支持分区、排序、和框架三种元素,语法格式如下OVER ( [ <PARTITION BY clause> ] [ <ORDER BY clause> ] [ <ROW or RANGE clause> ] ) <PARTITION BY clau...原创 2020-05-05 17:17:43 · 117 阅读 · 0 评论 -
Hive小文件优化
hive优化参考文档参考文档参考文档小文件优化小文件产生的原因动态分区插入数据,产生大量小文件,从而导致map数量剧增reduce数量越多,小文件也可能越多(reduce的数量等于输出文件的数量)数据源本身包含大量的小文件小文件的影响从hive的角度,小文件过多会启动很多map,一个map就是一个JVM进程,这些任务初始化,启动,执行会浪费大量的资源,严重影响性能在hdfs中,每个小文件对象的元数据信息大约150byt。如果小文件过多会占用大量内存。这样NameNode内存容量严原创 2022-09-06 16:22:22 · 638 阅读 · 1 评论