Hadoop中Mapper和Reducer是单独进程还是线程

最新推荐文章于 2024-09-18 09:33:14 发布

小于号yyds

最新推荐文章于 2024-09-18 09:33:14 发布

阅读量2.9k

点赞数

分类专栏： Hadoop MapReduce

本文链接：https://blog.csdn.net/wawmg/article/details/8744455

版权

Hadoop中的Mapper和Reducer是单独的进程，每个任务都会启动一个新的进程来运行。TaskTracker维护slots逻辑值，用于资源管理和任务调度，slots并非实际的线程。TaskRunner虽然继承自Thread，但实际是通过launchJvmAndWait方法启动单独的JVM进程来运行Mapper和Reducer任务，以隔离系统代码和用户代码，防止用户代码的错误影响TaskTracker。

摘要由CSDN通过智能技术生成

hadoop一个节点默认起两个map slot，请问这两个slot是多线程吗？
hadoop-0.21.0 源码中是这样的：
首先看看 org.apache.hadoop.mapred.TaskTracker 类：
两个类变量 maxMapSlots 和 maxReduceSlots：
maxMapSlots = conf.getInt(TT_MAP_SLOTS, 2);
maxReduceSlots = conf.getInt(TT_REDUCE_SLOTS, 2);
其中 public static final String TT_MAP_SLOTS = "mapreduce.tasktracker.map.tasks.maximum";
public static final String TT_REDUCE_SLOTS = "mapreduce.tasktracker.reduce.tasks.maximum";
类方法 initializeMemoryManagement() 中，根据 slots 来决定申请内存的大小
totalMemoryAllottedForTasks = maxMapSlots * mapSlotMemorySizeOnTT + maxReduceSlots * reduceSlotSizeMemoryOnTT;
类方法 TaskTracker.initialize() 中会起两个 TaskLauncher 线程，
分别负责启动 Mapper 和 Reduce 任务：
mapLauncher = new TaskLauncher(TaskType.MAP, maxMapSlots);
reduceLauncher = new TaskLauncher(TaskType.REDUCE, maxReduceSlots);