hive调优,reduce的设置

原因:因为reduce过大会生成好多小文件,如果这些小文件作为下一个job的输入，则就应该考虑小文件的合并问题

        reduce的数目过少,执行耗时,可能造成数据倾斜的可能性（性能的差的高度原因）

            参数的调优1>hive.exec.reducers.bytes.per.reducer=1000000000;(每个reduce处理的数据量的大小,默认是1g）

                              2>hive.exec.reducers.max=999;(默认的是999)(reducer的最大数，默认是999)

               reduce数量的计算公式( N = min(999,文件的大小/参数1))

              在什么情况下,只有一个reduce（order by 全局排序,处理的数据量小于hive.exec.reducers.bytes.per.reducer,没有group by的汇总）

            设置reduce的数量:mapred.reduce.tasks = -1（默认值时-1）当某个job的结果，后边的job多次引用的时候，设大该参数一便增大后面map的访问数