hadoop系统中yarn的作用

ResourceManager,NodeManager,ApplicationMaster,Container,同样下面亦是yarn结构图。

ResourceManager是全局的,负责对于系统中的所有资源有最高的支配权。

ApplicationMaster 每一个job有一个ApplicationMaster 。

NodeManager,NodeManager是基本的计算框架。

NodeManager 是客户端框架负责 containers, 监控他们的资源使用 (cpu, 内存, 磁盘, 网络) 和上报给 ResourceManager/Scheduler.

ApplicationMaster首先它是一个框架库,它的功能官网说的不够系统,大意,由于NodeManager 执行和监控任务需要资源,所以通过ApplicationMaster与ResourceManager沟通,获取资源。换句话说,ApplicationMaster起着中间人的作用。

转换为更专业的术语:AM负责向ResourceManager索要NodeManager执行任务所需要的资源容器,更具体来讲是ApplicationMaster负责从Scheduler申请资源,以及跟踪这些资源的使用情况以及任务进度的监控。

ResourceManager有两个组件:调度器和应用程序管理器。 

调度器(Scheduler)是可插拔的,比如有Fair Scheduler、Capacity Scheduler等,当然调度器也可以自定义。

 

Hadoop框架YARN(Yet Another Resource Negotiator)是一个资源管理器,它负责集群的资源分配和作业调度。以下是一个关于YARN的例子: 假设我们有一个Hadoop集群,其包含多个节点(Node)。每个节点都有一定的计算资源(CPU、内存等)可供使用。现在有多个MapReduce作业需要在这个集群上运行。 而YARN作用就是管理和调度这些作业的资源。它首先接收到待运行的作业,然后根据作业的需求和集群的资源情况,进行资源的分配和调度。 具体来说,YARN作用如下: 1. 资源管理:YARN会监控集群每个节点的资源情况,包括可用的CPU、内存等。当一个作业提交给YARN时,它会根据作业的资源需求来进行资源分配,确保每个作业获得足够的资源来执行。 2. 作业调度:YARN根据作业的优先级和调度策略,将作业分配给适合的节点来执行。它会考虑集群各个节点的负载情况,避免某些节点过载或资源浪费。 3. 任务监控和容错:YARN会监控每个作业的运行状态,并在发生错误或节点故障时进行容错处理。如果一个任务失败,YARN可以重新分配任务到其他可用的节点上,确保作业的正常执行。 4. 状态报告和日志管理:YARN会生成作业的状态报告和日志信息,用于监控作业的执行情况和故障排查。管理员可以通过YARN的界面或命令行工具查看和管理作业的状态和日志。 总之,YARNHadoop框架起着关键的角色,负责资源管理和作业调度,确保作业能够高效地在整个集群上运行。它提供了集式的资源管理和调度功能,使得Hadoop集群可以更好地处理大规模的数据处理任务。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值