HIVE Mapred tasks exceed 1000000000

Topo check failed. Mapred tasks exceed 1000000000

Automerge可以直接在Inceptor命令行中开启：
SET ngmr.partition.automerge = true;
SET ngmr.partition.mergesize = n;
SET ngmr.partition.mergesize.mb = m;

"ngmr.partition.automerge = true"表示开启automerge，
它提供两种合并的方法：

1. "ngmr.partition.mergesize = n"，表示将n个block安排给单个任务来处理。2. "ngmr.partition.mergesize.mb=m"，表示一个task负责处理大小为m的数据量（单位为MB）。用户可以根据需要仅设置这两个参数其中之一，默认使用方法2来控制，如果需要使用方法1，需要将mergesize.mb设为-1。在block中数据量偏少的情况下，单个任务运行的时间就少，那么任务开启的开销很可能占据总开销的大量比例。尤其当小文件数量过于庞大时，过多的线程将导致排队延时的增加。所以对block有效的合并处理有助于促进语句执行的高效性。如果已知数据源中小文件过多，用户向新表中导入数据前可以打开automerge开关，使一个Task处理多个block，并将结果输出到同一个文件中，因此达到了小文件合并效果。数据导入完成后用户便可关闭automerge开关。

---

bucket size is too large

SET ngmr.optimization.runtime.cogroupjoin=false;

SET mapred.reduce.tasks=xx