Hadoop+MapReduce实现原理（附录）

本文是对《Hadoop+MapReduce实现原理》系列文章中的一些概念再做一下详细的解释，不写在正文里是为了不影响正文整个的阅读思路，并不是因为不重要，附录中的介绍也是非常重要的MapReduce中的思想

作业对TaskTracker磁盘的使用

主要思想：

为了避免中间数据的可靠性（因为一旦丢失，任务要重跑），将数据写到不同的磁盘上；为了中间数据可以并发写（多个map任务可能会同时写中间数据），所以要写到多个磁盘上。对于任意一个作业，在每个磁盘都会为它创建一个目录让它来存储数据，具体使用哪一个是通过轮询的策略来决定（由LocalDirAllocator类实现）

具体实现：

TaskTracker上的目录主要分为数据目录和日志目录：
数据目录主要存放执行任务的程序、jar包、配置文件等和运行过程中产生的中间文件，是由参数mapred.local.dir指定的；
日志目录主要存放运行过程中TaskTracker和Task输出的日志，由参数hadoop.log.dir指定

数据目录：
TaskTracker为某个作业创建的数据目录结构如图所示：

TaskTracker设置的mapred.local.dir参数中包含N个目录：/mnt/disk0…/mnt/diskN-1，这N个目录挂载到TaskTracker的N个磁盘上，作业jobid1提交，jobid1含有K个任务，在这N个目录下面都创建出来作业jobid1的目录，一共创建了N个，且目录结构都是相同的。
采用轮询的方式使用这些目录，例如，对于任务taskid1，为了分摊写负载，TaskTracker先把工作目录放到disk0上，再把输出结果的output目录放到放到disk1上
（没懂为什么同一个任务要均摊写负载，不同任务之间不需要均衡写负载吗）
数据目录清理：
因为Reduce任务可能会运行失败，Map任务的结果不能及时删除，整个任务目录直到作业完成会统一删除

日志目录：
TaskTracker的日志目录是只存储在一个磁盘上的，日志主要包括系统日志和用户日志：
系统日志是TaskTracker服务内部打印的日志，存放到<tasktracker-name>.log和<tasktracker-name>.out
用户日志是作业在运行过程中，用户输出的日志，存放到userlogs中，不同作业在不同子目录下
整个结构如图所示：

由于一个TaskTracker任务多，用户的日志量比较大，都放到一个磁盘下面会造成tasktracker的性能瓶颈，所以也把它改为数据目录的存放形式，以轮询的方式存放在mapred.lical.dir上。为了保持语义，用户日志还是在hadoop.log.dir下，但实际上会创建指向实际目录的符号链接，如图所示：

日志目录清理：
在任务完成后，TaskTracker通过TaskLogsTruncater类会对日志文件进行裁剪，保证日志文件不会太大，Map Task和Reduce Task最大可保留的日志分别大小是mapreduce.cluster.map.userlog.retain- size和mapreduce.cluster.reduce.userlog.retain-size
在这作业完成超过mapred. userlog.retain.hours（默认24小时）后，TaskTracker会通过userLogCleaner线程将该作业日志从磁盘删除