![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hive调优
文章平均质量分 93
鲁边
大数据生态践行者
展开
-
什么是hive的高级分组聚合,它的用法和注意事项以及性能分析
使用高级分组聚合不仅可以简化SQL语句,而且通常情况下会提升SQL语句的性能。原创 2023-06-29 17:28:19 · 893 阅读 · 0 评论 -
HiveSQL在使用聚合类函数的时候性能分析和优化详解
带聚合函数的SQL逻辑,我们可以根据其执行过程的不同,将其分成三大类来进行分析:仅在Reduce阶段聚合的SQL执行逻辑在Map和Reduce阶段都有聚合操作的SQL执行逻辑高级分组聚合的执行SQL逻辑原创 2023-06-21 11:30:59 · 407 阅读 · 4 评论 -
Hive常见时间日期函数的使用与问题整理
hive本身提供的时间函数已经很丰富了,基本上能满足我们所有的需求,一些特殊需求也可以通过增加一些数学逻辑实现出来。原创 2023-06-14 17:41:14 · 738 阅读 · 1 评论 -
Hive执行计划之只有map阶段SQL性能分析和解读
这种只含map的操作,如果文件大小控制在合适的情况下,都将只有本地操作,其执行非常高效,运行效率完全不输于在计算引擎Tez和Spark上运行。原创 2023-06-13 17:25:50 · 429 阅读 · 0 评论 -
Hive执行计划之什么是hiveSQL向量化模式及优化详解
Hive开启向量化模式也是hiveSQL优化方法中的一种,可以提升hive查询速率,也叫hive矢量化。原创 2023-06-09 20:26:37 · 1174 阅读 · 0 评论 -
Hive执行计划之hive依赖及权限查询和常见使用场景
如何在hiveSQL执行之前就探查到这段逻辑的血缘依赖关系原创 2023-06-07 20:46:55 · 419 阅读 · 0 评论 -
Hive执行计划之一文读懂Hive执行计划
Hive的执行计划描述了一个hiveSQL语句的具体执行步骤,通过执行计划解读可以了解hiveSQL语句被解析器转换为相应程序语言的执行逻辑。通过执行逻辑可以知晓HiveSQL运行流程,进而对流程进行优化,实现更优的数据查询处理。同样,通过执行计划,还可以了解到哪些不一样的SQL逻辑其实是等价的,哪些看似一样的逻辑其实是执行代价完全不一样。如果说Hive优化是一堵技术路上的高墙,那么关于Hive执行计划,就是爬上这堵高墙的一架梯子。不同版本的Hive会采用不同的方式生成的执行计划。原创 2023-06-06 19:54:57 · 1342 阅读 · 1 评论