Hadoop学习之MapReduce(四)

最新推荐文章于 2020-12-29 15:45:59 发布

skyWalker_ONLY

最新推荐文章于 2020-12-29 15:45:59 发布

阅读量3.8k

点赞数

分类专栏： Hadoop-1.x Hadoop 文章标签： Hadoop mapreduce 本地化配置管理目录结构

本文链接：https://blog.csdn.net/skywalker_only/article/details/21870373

版权

Hadoop 同时被 2 个专栏收录

49 篇文章 22 订阅 ¥9.90 ¥99.00

订阅专栏

Hadoop-1.x

19 篇文章 0 订阅

订阅专栏

本文详细介绍了MapReduce的目录结构，包括hadoop.tmp.dir和mapred.local.dir参数，以及TaskTracker的本地目录结构，如jobcache、distcache、job.xml等文件的位置。此外，还讨论了JVM重用、DistributedCache的使用，以及任务的标准输出和错误输出的存储位置。最后提到了作业提交、监控和输入输出相关内容。

摘要由CSDN通过智能技术生成

接下来是跟MapReduce目录结构有关的参数。首先看两个参数，分别为在core-default.xml中定义的hadoop.tmp.dir，其默认值为/tmp/hadoop-${user.name}，另一个为定义在mapred-default.xml中的mapred.local.dir，该参数指定了保存MapReduce中间数据文件的目录，其默认值为${hadoop.tmp.dir}/mapred/local。在下面的学习中将会直接引用mapred.local.dir。TaskTracker拥有本地目录，目录${mapred.local.dir}/taskTracker/用于创建本地缓存和本地作业。可以定义多个本地目录（分布在多个硬盘上）并且每个文件名被半随机地分配到本地目录中。当作业启动时，TaskTracker创建与本地目录（该目录由配置参数指定）相关的本地作业目录。这样，TaskTracker目录结构就像下面描述的：

${mapred.local.dir}/taskTracker/distcache/：所有用户的作业的公有分布式缓存。该目录保存本地的公有分布式缓存，这样本地的公有分布式缓存就可以在所有用户的所有任务和作业之间共享。
${mapred.local.dir}/taskTracker/$user/distcache/ ：特定用户的作业的私有分

了解本专栏