HadoopSourceAnalyse --- NodeManager -- initiate

最新推荐文章于 2021-01-20 21:51:47 发布

江山疯宇晴

最新推荐文章于 2021-01-20 21:51:47 发布

阅读量2k

点赞数

分类专栏： hadoop source analyse 文章标签： Hadoop source code 集群

本文链接：https://blog.csdn.net/woelegant/article/details/8870399

版权

15 篇文章 0 订阅

订阅专栏

14 篇文章 0 订阅

订阅专栏

Overview

NodeManager 是hadoop cluster的server中，负责管理，执行任务相关的资源，主要通过ResouceManager和ApplicationsManager通信，通过ContainerManager与ApplicationMasterService 通信，

Event Handler
ContainerManagerEventType	ContainerManagerImpl
NodeManagerEventType	NodeManager

LocalDirsHandlerService 主要用来定时检查本地工作目录及日志目录的状态，并向请求的service报告状态信息，初始化时会读取下列信息：

yarn.nodemanager.disk-health-checker.interval-ms, Default is: 120000 定义了，检查目录的时间间隔；
yarn.nodemanager.disk-health-checker.enable, Default is: true 定义了是否启用health checker；
yarn.nodemanager.disk-health-checker.min-healthy-disks: Default is 0.25，定义了启动一个containe所需用的最少空间百分比；
yarn.nodemanager.local-dirs:定义了存放localize 文件的本地目录；
yarn.nodemanager.log-dirs：定义了log文件的本地目录；

通过这个服务，我们可以提供一个脚本来定期检查Node的状态，启动时会从下列配置中读取脚本信息：

yarn.nodemanager.health-checker.script.path: 定义了执行检查的脚本的绝对路径；
yarn.nodemanager.health-checker.interval-ms: Default is: 600000ms，定义了检查的时间间隔；
yarn.nodemanager.health-checker.script.timeout-ms: Default is: 1200000ms，定义超时时间间隔；
yarn.nodemanager.health-checker.script.opts: 定义了，检查脚本的执行选项。

NodeStatusUpdater主要用来和Resource mamanger通信，并更当前node的状态信息，启动时要从配置文件中读取下列信息：

yarn.resourcemanager.resource-tracker.address: Default is 0.0.0.0:8031, 定义了ResourceManager的监听地址；
yarn.nodemanager.resource.memory-mb: Default is: 8192 MB, 定义了，node manager 运行时分配的物理内存；
yarn.nodemanager.vmem-pmem-ratio: Default is 2.1, 定义了虚拟内存与物理央存的比例，用来计算应该分配多少虚拟内存；
yarn.nodemanager.resource.cpu-cores: Default is 8, 定义了物理机器CPU核心数量；
yarn.nodemanager.vcores-pcores-ratio: Default is 2.0 定义了虚拟CPU（线程）与物理核心的比例，用来计算可以同时运行多少个虚拟CPU（线程）；
yarn.nodemanager.webapp.address: Default is:0.0.0.0:8042，定义了 node manager的Web监听地址。

ContainerManager 主要是用来和ApplicationMaster通信，管理，分配、启动、停止containers

Event Handler
ContainerEventType	ContainerEventDispatcher
ApplicationEventType	ApplicationEventDispatcher
LocalizationEventType	ResourceLocalizationService
AuxServicesEventType	AuxServices
ContainersMonitorEventType	ContainersMonitorImpl
ContainersLauncherEventType	ContainersLauncher
LogHandlerEventType	LogAggregationService/NonAggregatingLogHandler

当ContainerManager 启动时，需从配置方件读取下列信息：

ResourceLocalizationService 主要用来管理用户相关及Application相关的localization 信息，这些信息都是存储在本地文件系统中的，Service启动之前会读取以下配置信息：

yarn.nodemanager.local-cache.max-files-per-directory: Default is: 8192 如果配置的文件个数少于37，则系统会报错，启动失败；
yarn.nodemanager.localizer.cache.target-size-mb: Default is 10240MB定义了，cache 目录的最大容量；
yarn.nodemanager.localizer.cache.cleanup.interval-ms: 600000 ms 定义了，cache 目录清除的时间间隔；
yarn.nodemanager.localizer.address: Default is: 0.0.0.0.0:8040 定义了ResourceLocalizer 监听地址；

ContainersMonitor 主要是用来监视当前node中的所有Containers 对系统资源的使用情况，目前只监视内存及虚拟内存的使用情况，当Monitor启动时需从配置文件中读取下列信息：

yarn.nodemanager.container-monitor.interval-ms: Default is: 3000 ms 定义了监视间隔时间；
yarn.nodemanager.container-monitor.resource-calculator.class: 定义了计算系统资源的对像类型；
yarn.nodemanager.container-monitor.process-tree.class:定义了计算系统进程信息的对像类型；
yarn.nodemanager.resource.memory-mb: Default is: 8192MB (8G) 定义了当前系统可用的总的物理内存数；
yarn.nodemanager.vmem-pmem-ratio: Default is 2.1 定义了当前系统中总的虚拟内存与物理内存的比例，用来计算系统中总的可用的虚拟内存数，该值必须大于或等于1.0；
yarn.nodemanager.pmem-check-enabled: Default true. 定义是否检查物理内存限制；
yarn.nodemanager.vmem-check-enabled: Default true, 定义是否检查虚拟面存限制。

Log container start, finish, and Application start, finish;

关注