Speculative Execution
magicdreaming
这个作者很懒,什么都没留下…
展开
-
M/R推测性的执行(Speculative execution)
Hadoop系统有一个问题,它把任务分派到很多个节点,其中很有可能有一些慢的节点会限制剩下程序的执行速度。举个例子,如果有个节点内有一个比较慢的磁盘控制器,那它读取输入数据的速度可能只有所有其它节点的速度的10%。所以当99个map任务都已经完成了,系统仍在等待最后那个比较耗时的map任务完成。 通过强迫任务独立运行于其它的任务,使得单个任务之间不会知道它们的输入数据来自哪里。任务相信Had转载 2012-05-30 15:29:09 · 3446 阅读 · 0 评论 -
M/R的数据源为HBase时须关闭Speculative Execution
在HBase使用Speculative Execution会加重regionserver的load。 因为用Hadoop map/reduce操作HBase的时候,会尽量采用本地原则,即相应的task尽量使用本地的数据。 而如果另起一个task,则会导致数据不在本地,凭空浪费IO和网络资源。 强烈建议关闭 Speculative Execution 方法是在jobconf中设定原创 2012-05-30 15:40:04 · 1025 阅读 · 0 评论