每个节点都会有一个 NodeManager ,它负责启动和监控自身的容器。如果某个 NodeManager 挂

作者:禅与计算机程序设计艺术

1.简介

及背景介绍 NodeManager(NM)是一个 Hadoop 的组件,作为集群中的单个节点的守护进程运行。其主要职责就是管理执行应用在该节点上的容器,包括分配资源、启动和监控它们。NM 在 Apache Hadoop 2.x 版本中引入,成为 Hadoop 集群的关键组件之一。NM 提供了两种服务:

  1. Resource Negotiation Service: NM 从 ResourceManager 获取所需资源并将其映射到应用程序容器上。
  2. Application Manger Service: NM 将应用程序提交给它,NM 通过 ApplicationMaster 来启动和管理应用程序的生命周期。

NM 的设计目标之一就是高可用性。其重要原因是在 Hadoop 集群运行过程中,因为某些节点会发生故障或者意外,导致其上的所有容器都无法正常工作。因此,为了确保系统的高可用性,Yarn 提供了自动重启功能,即当 NM 失效时,Yarn 会自动启动故障节点上的所有容器,使其恢复到正常状态。此外,Yarn 会保证应用程序在重启后可以继续执行,不会出现任何数据丢失或数据损坏的问题。因此,无论是重启故障的 NM 或是新加入的节点,NodeManager 服务都是 Hadoop 集群的重要组成部分。

本文讨论的内容主要聚焦于 Yarn 中的 NodeManager 服务,主要基于 Yarn-2.9.2 版本进行阐述。由于篇幅限制,本文不会详细解释 NodeManager 的内部实现过程,只着重介绍 NodeManager 服务的作用以及如何配置 NodeManager 以提升集群的资源利用率。

2.基本概念术语说明

  • 2
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

禅与计算机程序设计艺术

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值