Yarn知识点整理

Yarn知识点整理Yarn是一个资源调度平台,负责为计算框架提供服务器运算资源,相当于一个分布式操作系统平台,而MapReduce相当于应用程序。Yarn在Hadoop2之后引入MapReduce.基本架构ResourceManager:处理客户端请求监控NodeManager状态启动和监控ApplicationManager资源的分配与调度NodeManager:管理...
摘要由CSDN通过智能技术生成

Yarn知识点整理

Yarn是一个资源调度平台,负责为计算框架提供服务器运算资源,相当于一个分布式操作系统平台,而MapReduce相当于应用程序。Yarn在Hadoop2之后引入MapReduce.

基本架构

  • ResourceManager:
    • 处理客户端请求
    • 监控NodeManager状态
    • 启动和监控ApplicationManager
    • 资源的分配与调度
  • NodeManager:
    • 管理单个节点上的资源
    • 处理来自ResourceManager的命令
    • 处理来自ApplicationManager的命令
  • ApplicationManager:
    • 负责数据切分
    • 为应用程序申请资源并分配给内部的任务
    • 任务的监控与容错
  • Container:
    • Yarn资源的抽象,封装了节点的多维度资源,如内存、CPU、磁盘、网络等

工作机制

work_flow

  1. Mr程序提交到MapReduce客户端所在节点
  2. MapReduce客户端的YarnRunner类向ResourceManager申请一个Application
  3. ResourceManager将Mr程序的资源路径返回给YarnRunner
  4. MapReduce客户端将运行Mr程序所需资源提交到HD
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop和Spark是大数据处理领域中最流行的两个框架。以下是它们的知识整理汇总: Hadoop: 1. Hadoop是一个开源的分布式计算框架,用于存储和处理大规模数据集。 2. Hadoop包括两个核心组件:HDFS(Hadoop分布式文件系统)和MapReduce(分布式计算框架)。 3. HDFS是一个分布式文件系统,用于存储大规模数据集。它将数据分成块并存储在不同的节点上,以实现数据的高可靠性和可扩展性。 4. MapReduce是一种分布式计算框架,用于处理大规模数据集。它将数据分成小块并在不同的节点上并行处理,以实现高效的数据处理。 5. Hadoop还包括其他组件,如YARN(资源管理器)和HBase(分布式NoSQL数据库)。 Spark: 1. Spark是一个快速、通用、可扩展的分布式计算框架,用于处理大规模数据集。 2. Spark的核心组件是Spark Core,它提供了分布式任务调度、内存计算和数据处理功能。 3. Spark还包括其他组件,如Spark SQL(用于结构化数据处理)、Spark Streaming(用于实时数据处理)和MLlib(用于机器学习)。 4. Spark使用RDD(弹性分布式数据集)作为其基本数据结构,它是一个可分区、可并行计算和可恢复的数据集合。 5. Spark支持多种编程语言,如Scala、Java、Python和R。 总结: Hadoop和Spark都是用于处理大规模数据集的分布式计算框架,它们有不同的核心组件和特点。Hadoop主要用于存储和处理大规模数据集,而Spark则更加注重数据处理的速度和效率。在实际应用中,可以根据具体需求选择合适的框架。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值