HIVE学习-参数调优案例
引子
在日常工作中,会用到HIVE处理一些仓库任务和报表数据提数(条件所限,hive太慢,并不适应这种短平快的提数需求,一般都是用到impala或者spark,但是原先的大数据团队只提供了这个工具,暂且一用)。慢慢的会发现一些参数配置会发挥至关重要的作用,这也是这个组件应用到一定阶段一定会遇到的学习瓶颈,因此单开一个文章,慢慢地将学到的参数配置调优的知识点整理罗列,也是为了在这个平台上创造价值,促进互动和相互学习的氛围,激励自己的学习热情。
调优分类
调优必然是个循序渐进的过程,除非资深专业的数仓开发人员,才需要用到所有的参数配置优化,平日里大部分情况还是选用默认参数即可,因此此处我会一点点新增工作中汇用到的参数配置以及实际的案例说明,其他重要但一时半会用不上的就参考别人的文章了。
以下调优内容主要参考了如下的文章:
- https://blog.csdn.net/SunWuKong_Hadoop/article/details/86160759
运行环境配置
--开始本地模式
set hive.exec.mode.local.auto=true;
待补充实际案例