hive 执行SQL的优化

 

 

  1. 配置 mapreduce.job.reduce.slowstart.completedmaps 参数
    1. 该参数默认为 0.05, 表示map执行 5%之后,开始reduce过程
    2. 如果集群资源不够,有可能导致reduce把资源全抢光,可以把这个参数调整到0.8,map完成80%后才开始reduce copy 过程。
    3. 可以配置为如下:
      1.   set mapreduce.job.reduce.slowstart.completedmaps=0.8;
      2.  set mapreduce.job.reduce.slowstart.completedmaps=0.9;
  2.  
©️2020 CSDN 皮肤主题: 技术黑板 设计师:CSDN官方博客 返回首页