在HBase使用Speculative Execution会加重regionserver的load。
因为用Hadoop map/reduce操作HBase的时候,会尽量采用本地原则,即相应的task尽量使用本地的数据。 而如果另起一个task,则会导致数据不在本地,凭空浪费IO和网络资源。
强烈建议关闭 Speculative Execution
方法是在jobconf中设定
因为用Hadoop map/reduce操作HBase的时候,会尽量采用本地原则,即相应的task尽量使用本地的数据。 而如果另起一个task,则会导致数据不在本地,凭空浪费IO和网络资源。
强烈建议关闭 Speculative Execution
方法是在jobconf中设定
conf.set("mapred.map.tasks.speculative.execution",false);