HIVE大数据平台SQL优化分享

相信很多小伙伴在面试的时候，必然跳不过去的一个问题就是SQL脚本的优化，这是很多面试官爱问的问题，也是可以证明你实力进阶的一个重要的能力。

下面给大家分享一个重量级的大数据行业sql技能---hive大数据平台SQL优化。

此文章是大数据平台运维组从多维度参数（CPU，内存，运行时长等）筛选出TOP任务，联合数据开发人员进行优化，最终出具优化方案优化跑批作业的业务逻辑，SQL逻辑等，并跟进方案落地和报告整理。

此文章从优化介绍，优化场景，案例实战三个方面循序渐进讲解。

一，优化介绍

1，大数据平台SQL优化的背景，以及采取的措施

2，优化效果概述

这个效果还是蛮理想的，也说明了在项目中sql优化是一项重要的技能之一，也是一个大数据开发人员进阶必备技能。

3，版本信息与名词

在分享SQL优化之前，先了解一下部分名词的含义。

二，优化场景

1，主要的优化场景

1.1，多余分区冗余计算

解决方法：

1.2，历史静态数据重复计算

解决方法>步骤1：优化前把历史结果表落地，再计算出新增结果表

解决方法>步骤2：把新增结果表数据合并进入历史结果表。

---注意，这里为什