Hadoop中,JobTracker会定期与tasktracker保持心跳。tasktracker会告知JobTracker是否上面有task在工作。如果没有,JobTracker会从task的队列中取出一个task交给相应的tasktracker。这个reducetask的ID,是key的hash得来。Hash后的,还是保存在本地,各有各ID,然后一个tasktracker得到一个task后,会把其他机器上有其ID的数据取走。
Hadoop的M-R中间任务分配
最新推荐文章于 2020-05-27 20:34:14 发布