YARN的体系结构的工作流程是怎样的?

本文介绍了YARN的工作流程,从用户通过客户端提交应用程序开始,详细阐述了ApplicationMaster的注册、资源申请、任务执行与监控,直至应用结束的整个过程。
摘要由CSDN通过智能技术生成

掌握了YARN的体系结构后,接下来看一下YARN的工作流程,具体如图1所示。

 

图1 YARN工作流程
 

下面针对图1展示的YARN的工作过程进行介绍,具体如下:

(1)用户通过客户端Client向YARN提交应用程序Applicastion,提交的内容包含Application的必备信息,例如ApplicationMaster程序、启动ApplicationMaster的命令、用户程序等。

(2)YARN中的ResourceManager接收到客户端应用程序的请求后,ResourceManager中的调度器(Scheduler)会为应用程序分配一个容器,用于运行本次程序对应的ApplicationMaster。图6-2中的MR App Mstr表示的是MapReduce程序的ApplicationMaster。

(3)ApplicationMaster被创建后,首先向ResourceManager注册信息,这样用户可以通过ResourceManager查看应用程序的运行状态。接下来的第(4)~(7)步是应用程序的具体执行步骤。

(4)ApplicationMaster采用轮询的方式通过RPC协议向ResourceManager申请资源。

(5)ResourceManager向提出申请的ApplicationMaster分配资源。一旦ApplicationMaster申请到资源后,便与对应的NodeManager通信,要

Hadoop是一个开源的、分布式存储和计算的框架,它允许用户存储大数据并执行复杂的分析任务。它主要用于处理大规模数据集,是大数据技术生态的核心组件。以下是Hadoop的一些使用案例: 1. 大数据分析:企业和研究机构使用Hadoop来处理和分析海量数据集,以获取业务洞察或研究发现。 2. 机器学习和数据挖掘:Hadoop可以处理大量数据,并配合机器学习库如Mahout、Spark MLlib等进行复杂的分析和模式识别。 3. 日志分析:网站和应用程序可以通过Hadoop收集、存储和分析用户访问日志,用以优化用户体验和网站性能。 4. 数据仓库:Hadoop可以作为数据仓库的一部分,存储企业内部的非结构化和半结构化数据,并与传统的数据仓库技术结合,实现更灵活的数据分析。 5. 社交网络分析:社交网络公司使用Hadoop处理大量的用户生成内容,比如状态更新、照片、视频等,并提供推荐算法、社交图谱分析等功能。 Hadoop体系结构主要包括以下几个核心组件: - Hadoop Distributed File System (HDFS):负责数据的存储,将文件分块存储在多个节点上。 - Yet Another Resource Negotiator (YARN):负责资源管理和任务调度。 - MapReduce:负责数据处理,通过映射和归约操作处理大数据集。 - Hadoop Common:包含Hadoop的各个子项目共享的库和工具。 制作Hadoop体系结构图需要将这些组件和它们之间的关系清晰地表示出来,通常包括以下内容: - HDFS的两个主要组件:NameNode(负责文件系统的元数据管理)和DataNode(负责存储实际的数据)。 - YARN的两个主要组件:ResourceManager(负责资源的分配)和NodeManager(在每个节点上管理计算资源)。 - MapReduce作业在YARN上的执行流程:作业提交、任务调度、任务执行等。 - 客户端如何与HDFS和YARN交互。 由于无法直接在这里提供视觉内容,建议使用绘图软件(如Visio、Lucidchart等)或代码绘图库(如D3.js)来创建Hadoop体系结构图。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值