![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
文章平均质量分 91
星辰_218
这个作者很懒,什么都没留下…
展开
-
数仓命名规范大全
数据仓库的建设实施和落地需要团队中不同成员的参与和配合,需要各种各样 的规范 , 规范的分层定义和表命名能让使用者轻而易举地明白该表的作用和含义。因此本文档重点介绍分层规范和可落地的表命名规范。原创 2023-04-03 10:27:52 · 385 阅读 · 0 评论 -
转载:Hive开窗函数总结
转载:Hive开窗函数总结https://blog.csdn.net/Abysscarry/article/details/81408265背景:平常我们使用 hive或者 mysql时,一般聚合函数用的比较多。但对于某些偏分析的需求,group by可能很费力,子查询很多,这个时候就需要使用窗口分析函数了~注:hive、oracle提供开窗函数,mysql8之前版本不提供,但Oracle发布的 MySQL 8.0版本支持窗口函数(over)和公用表表达式(with)这两个重要的功能!版本:Hiv转载 2020-06-09 10:10:21 · 211 阅读 · 0 评论 -
HIVE相关问题
1)Hive数据倾斜问题:倾斜原因: map输出数据按Key Hash分配到reduce中,由于key分布不均匀、或者业务数据本身的特点。】【等原因造成的reduce上的数据量差异过大。1.1)key分布不均匀1.2)业务数据本身的特性1.3)SQL语句造成数据倾斜解决方案:1>参数调节:hive.map.aggr=truehive.groupby.skewindata=true有数据倾斜的时候进行负载均衡,当选项设定为true,生成的查询计划会有两个MR Job。第一个MR Jo.原创 2020-06-09 10:04:04 · 185 阅读 · 0 评论