hive学习笔记-性能优化

1.设置hive多线程 

set hive.exec.parallel=true;
set hive.exec.parallel.thread.number=8; 

 

线程数默认为8，设置线程数优点是多进程同时跑，速度会快很多，缺点是会增加map(map 并不是越多越好），设置进程数大小要适当；

2.设置map数，reduce数

  map的文件块目前一个文件块是