大数据线上问题排查系列 - 同样的HQL，在CDH与TDH平台执行效率差异巨大的根本原因与业务侧应对方案

大数据线上问题排查系列 - 同样的HQL，在CDH与TDH平台执行效率差异巨大的根本原因与业务侧应对方案

前言

大家好，我是明哥！

公众号已经运维有一段时间了，也写了不少博文，其中很多是从自己解决真实线上问题的实战经历出发，写的经验总结和IT感悟。但由于前期摸索过程中，文风不统一且排版不太好，各篇博文之间也欠缺呼应，不太方便大家分类阅读学习，所以后续博文会尽量归类到对应的系列下。

本片博文是“大数据线上问题排查系列”大类别之一，以下是正文。

问题概述

某日测试团队同学跟我反馈了一个问题，即某大数据应用系统中HIVE离线计算作业脚本在CDH大数据平台跟TDH大数据平台的执行效率相差很大，经过验证该脚本在TDH大概需要 13 seconds，在CDH大概需要8 min 25 seconds，相差确实很大。

由于该大数据应用系统是是产品化的发包方案，在不同客户不同平台性能差异如此巨大，是不利于统一部署和运维的。所以需要对对该性能差异的背后原因，业务系统安装配置需注意的地方，以及业务代码侧潜在的应对方案，进行详尽的分析。

问题分析

问题分析的思路，仍然是查看相关大数据组件的WEB UI （在这里是 HIVE SERVER2 UI，和 YARN WEB UI）, 业务系统及各中间件的日志 （涉及到业务系统日志，业务系统使用的到二方包三方包的日志，调度系统日志等），以及相关大数据组件的日志 （在这里是 HIVE SERVER2, HIVE METASTORE,