在hive中跑数时候报错
Caused by: java.io.IOException: Reducer_2: Shuffle failed with too many fetch failures and insufficient progress!failureCounts=1, pendingInputs=1, fetcherHealthy=false, reducerProgressedEnough=true, reducerStalled=true
at org.apache.tez.runtime.library.common.shuffle.orderedgrouped.ShuffleScheduler.isShuffleHealthy(ShuffleScheduler.java:1047)
at org.apache.tez.runtime.library.common.shuffle.orderedgrouped.ShuffleScheduler.copyFailed(ShuffleScheduler.java:788)
at org.apache.tez.runtime.library.common.shuffle.orderedgrouped.FetcherOrderedGrouped.copyFromHost(FetcherOrderedGrouped.java:316)
at org.apache.tez.runtime.library.common.shuffle.orderedgrouped.FetcherOrderedGrouped.fetchNext(FetcherOrderedGrouped.java:180)
at org.apache.tez.runtime.library.common.shuffle.orderedgrouped.FetcherOrderedGrouped.callInternal(FetcherOrderedGrouped.java:192)
at org.apache.tez.runtime.library.common.shuffle.orderedgrouped.FetcherOrderedGrouped.callInternal(FetcherOrderedGrouped.java:56)
… 5 more
调下面这个参数的值,把它调小尝试。
set mapreduce.reduce.shuffle.memory.limit.percent=0.10;
调整参数后,错误就没有了。
> MergeManager
MergeManager是重要的数据结构,用于管理shuffle的数据。它尽量使用内存来缓存shuffle的数据,提高效率,
如果缓存不了,则输出到硬盘上。
MergeManager的几个重要参数
> mapreduce.reduce.shuffle.input.buffer.percent:
> Reduce的内存缓冲区大小,内存比例,默认是0.7。Shuffle内存为总内存 * 0.7。
> mapreduce.reduce.shuffle.memory.limit.percent:
> 单个shuffle任务能使用的内存限额,默认是0.25,即为 Shuffle内存 * 0.25。
> 低于此值可以输出到内存,否则输出到磁盘。 mapreduce.reduce.shuffle.merge.percent:默认值为0.66。
> shuffle的数据量到Shuffle内存 * 0.66的时候,启动合并。也就是内存到磁盘merge的启动门限,把内存中数据合并到磁盘。