Yarn源代码分析之旅---NodeManager---Container管理之资源本地化

最新推荐文章于 2022-01-29 16:00:30 发布

JJZHK

最新推荐文章于 2022-01-29 16:00:30 发布

阅读量3.4k

点赞数

分类专栏： Yarn 文章标签： Yarn

本文链接：https://blog.csdn.net/jjzhk/article/details/19544935

版权

Yarn 专栏收录该内容

6 篇文章 1 订阅

订阅专栏

概述

ContainerManagerImpl内部包含一个负责资源本地化的服务，它负责Container所需资源的本地化，能够根据描述从HDFS上下载Container所需的文件资源并尽量将他们分摊到各个磁盘上，以防止出现访问热点。此外还会为下载的文件添加访问控制权限，并为之施加何时的磁盘空间使用份额。

初始化时会生成一个ScheduledThreadPoolExecutor类型的对象cacheCleanup，负责清理工作。

serviceInit

检查conf的合法性，然后初始化资源跟踪器LocalResourcesTrackerImpl，得到本地资源上线文，设置访问权限，接下来根据LocalDirsHandlerService得到本地目录，然后循环将每个目录下面的UserCache，FileCache以及nmPrivate文件夹改名，加上后缀DEL_时间戳，交给DeletionService去删除它们。

接着，新建一套全新的，包括UserCache，FileCache以及nmPrivate目录，以及log目录。接着初始化一些变量，包括cache的大小，清理时期，localization的server地址，生成LocalizerTracker服务，添加到服务列表。