![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
Sunshine~L&H
while True:
learn()
展开
-
hive grouping sets聚合函数
函数说明:grouping sets在一个 group by 查询中,根据不同的维度组合进行聚合,等价于将不同维度的 group by 结果集进行 union allcube根据 group by 的维度的所有组合进行聚合rollup是 cube 的子集,以最左侧的维度为主,从该维度进行层级聚合。(1)grouping sets select order_id, departure_date, count(*) as cnt fr原创 2022-03-22 13:16:56 · 2786 阅读 · 0 评论 -
HIVE日期格式转换大全
1.日期函数UNIX时间戳转日期函数: from_unixtime语法:from_unixtime(bigint unixtime[, stringformat]) 返回值: string说明: 转化UNIX时间戳(从1970-01-0100:00:00 UTC到指定时间的秒数)到当前时区的时间格式举例:hive> select from_unixtime(1523308977,'...原创 2018-09-29 15:13:02 · 3403 阅读 · 0 评论 -
HIVE优化的四种方法
1、Hive整体架构优化2、在MR阶段进行优化3、Hive在SQL中优化4、Hive框架平台优化1.hive整体架构优化:现在hive的整体框架如下,计算引擎不仅仅支持Map/Reduce,并且还支持Tez、Spark等。根据不同的计算引擎又可以使用不同的资源调度和存储系统。整体架构优化点:1、根据不同业务需求进行日期分区,并执行类型动态分区。相关参数设置:0.14中默...原创 2018-10-19 15:31:46 · 2970 阅读 · 0 评论 -
HIVE优化
一,join优化 join查找操作的基本原则:应该将条目少的表/子查询放在join操作符的左边。原因是在join操作的reduce阶段,位于jion操作符左边表的内容会被加载进内存,将条目少的表放在左边,可以有效减少发生内存溢出错误的几率。 join查找操作中如果存在多个join,且所有参与join的表中其参与join的key都相同,则会将所有的join合并到一个m...原创 2019-06-12 10:26:29 · 276 阅读 · 0 评论