随着HBase的上线带来了一些问题,在调整原来参数的过程中,影响到了之前相关任务的执行过程
其中就有个参数:
mapred.reduce.parallel.copies
当初上线的时候,设置是20。由于后面在对hbase做相关批量导入数据时,将此值修改成6。然后脚本在运行时在reduce阶段,Read timeOut的超时现象。
随着HBase的上线带来了一些问题,在调整原来参数的过程中,影响到了之前相关任务的执行过程
其中就有个参数:
mapred.reduce.parallel.copies
当初上线的时候,设置是20。由于后面在对hbase做相关批量导入数据时,将此值修改成6。然后脚本在运行时在reduce阶段,Read timeOut的超时现象。