Yarn知识点整理

最新推荐文章于 2021-06-25 14:12:46 发布
最新推荐文章于 2021-06-25 14:12:46 发布
阅读量267 收藏
点赞数
分类专栏： 大数据框架学习 文章标签： yarn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/da_kao_la/article/details/105035437
版权
Yarn知识点整理Yarn是一个资源调度平台，负责为计算框架提供服务器运算资源，相当于一个分布式操作系统平台，而MapReduce相当于应用程序。Yarn在Hadoop2之后引入MapReduce.基本架构ResourceManager:处理客户端请求监控NodeManager状态启动和监控ApplicationManager资源的分配与调度NodeManager:管理...
摘要由CSDN通过智能技术生成

Yarn知识点整理

Yarn是一个资源调度平台，负责为计算框架提供服务器运算资源，相当于一个分布式操作系统平台，而MapReduce相当于应用程序。Yarn在Hadoop2之后引入MapReduce.

基本架构

  • ResourceManager:
    • 处理客户端请求
    • 监控NodeManager状态
    • 启动和监控ApplicationManager
    • 资源的分配与调度
  • NodeManager:
    • 管理单个节点上的资源
    • 处理来自ResourceManager的命令
    • 处理来自ApplicationManager的命令
  • ApplicationManager:
    • 负责数据切分
    • 为应用程序申请资源并分配给内部的任务
    • 任务的监控与容错
  • Container:
    • Yarn资源的抽象，封装了节点的多维度资源，如内存、CPU、磁盘、网络等

工作机制

work_flow

  1. Mr程序提交到MapReduce客户端所在节点
  2. MapReduce客户端的YarnRunner类向ResourceManager申请一个Application
  3. ResourceManager将Mr程序的资源路径返回给YarnRunner
  4. MapReduce客户端将运行Mr程序所需资源提交到HD
最低0.47元/天 解锁文章
da_kao_la
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop3.2.1 【 YARN 】源码分析 : RMApp状态机浅析
张伯毅的专栏
12-31 1373
一. 前言 在YARN中， 如果一个对象由若干个状态以及触发这些状态发生转移的事件构成， 它将被抽象成在这里插入代码片一个状态机， 在YARN ResourceManager内部， 共有4类状态机， 分别是RMApp、 RMAppAttempt、 RMContainer和RMNode。 其中， 前2类状态机维护了一个应用程序相关的生命周期， 包括Application生命周期、 一次运行尝试的生命周期； RMContainer则维护了分配出去的各个资源的使用状态； RMNode维护了一个NodeManage
Yarn总结（三）
weixin_41481760的博客
11-13 210
1
yarn web ui接口数据的获取的探索和实现思路
Little_White_Growth的博客
06-25 913
需求背景 公司一项目需对spark程序进行性能分析，单纯从时间的角度去看并不能看出实际的执行性能，就想通过yarn对每个application的资源记录来综合评估。 分析yarn的源码发现，yarn的ui在获取application的数据都是通过RMWebServiceProtocol 这个接口来实现的，开始有了一个思路就是： 根据 RMWebServiceProtocol这个协议生成一个客户端去访问RM 的服务端，调里面的的一些方法可以拿到具体的信息。 后来发现yarn的web ...
修改yarn监控web页面上展示的StartFime和FinishTime【GMT时间】
weixin_33929309的博客
11-20 940
应用场景 当部署好hadoop集群后，搭建了YARN集群，开启了hadoop的HDFS和YARN服务，访问主节点IP和8088端口的YARN监控界面，发现这个All Applications界面中的开始执行时间和结束执行时间不对，应该往后加8个小时才对，导致在页面中对任务监控的时...
JAVA全栈核心知识点整理-面试
06-21
在准备JAVA全栈核心知识点的面试时，理解并掌握以下几个关键领域是至关重要的： 1. **JVM（Java虚拟机）**：JVM是Java程序的运行环境，它负责类的加载、验证、执行字节码以及垃圾回收。了解JVM内存模型（包括堆、栈...
java核心知识点整理
最新发布
10-21
【Java核心知识点整理】 在Java编程领域，掌握核心知识点对于成为一名高效的开发者至关重要。这里我们将深入探讨JVM（Java虚拟机）、集合、多线程并发、基础语法、Spring框架原理、微服务、网络通信、日志处理、...
JAVA核心知识点整理.pdf
12-02
《JAVA核心知识点整理》这份资料全面涵盖了Java开发者在面试中可能会遇到的各种问题，从JVM深入剖析到Java集合、多线程开发，再到Spring框架、微服务架构、网络通信、日志管理，以及分布式系统中的关键组件如...
hadoop_yarn讲解ppt
12-08
本ppt主要讲解yarn的基本架构,工作流程,基础库以及程序设计方法 容错等
YARN.xmind
07-06
大主题：背景、YARN框架、YARN工作流程、对比分析、YARN的功能；此为思维导图由本人自己通过学习总结的，其中有参考林子雨教授的《大数据技术原理与应用》、湖南科技职业学院人工智能大数据教研组《分布式系统hadoop》。适用于新手入门大数据（没有c币可以私聊哦）。
Hadoop超级详细思维导图原件
11-25
帮助记忆Hadoop各个组件包括HDFS，MapReduce，Yarn自己精心整理的
Hadoop学习整理的基础知识包含MapReduce和Hive（思维导图形式）
11-03
Hadoop学习整理的基础知识（思维导图） 1、初始Hadoop 2、Hadoop分布式文件系统 3、Hadoop分布式计算框架 4、Hadoop资源管理器Yarn 5、基于Hadoop的数据仓库Hive
数据库学习入门数据库基础入门.rar_MYSQL_大数据整理_大数据知识点_学习书籍
09-24
大数据的学习则包括理解大数据生态系统的组件，如HDFS、MapReduce、YARN，以及大数据处理工具如Pig、Hive和Spark。 学习笔记和资料可以帮助巩固理论知识，并提供实践案例。这些笔记可能涵盖常见的问题解决方案，...
JAVA核心知识点整理.7z
04-22
留给自己当做 备份文档, 需要的自取. jvm java spring 微服务 网络 日志 Zookeeper Kafka RabbitMQ Hbase MongoDB Cassandra 设计模式 负载均衡 数据库 算法 Hadoop Spark Storm YARN
Yarn知识总结
x6x6x6x的博客
12-16 305
一、yarn的核心 RM（resource manager）的职责： 1.除了客户端的请求，接受JobSubmitter提交的作业（按照作业的上下文（Context））信息run.sh提交的参数，以及从NM（nodemanager）收集来的状态信息），启动调度过程，分配一个container作为APP master 2.RM作为中心服务，拥有系统中所有应用的资源分配决定权，其工作是调度、启动每一个...
Yarn知识点总结
air的博客
08-27 448
1、Yarn 1）描叙：Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应 用程序。 2）依赖其它架构： 3）架构组成：YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。 4）重要知识点： ...
hadoop 和 spark 知识点整理汇总
03-16
Hadoop和Spark是大数据处理领域中最流行的两个框架。以下是它们的知识点整理汇总： Hadoop： 1. Hadoop是一个开源的分布式计算框架，用于存储和处理大规模数据集。 2. Hadoop包括两个核心组件：HDFS（Hadoop分布式文件系统）和MapReduce（分布式计算框架）。 3. HDFS是一个分布式文件系统，用于存储大规模数据集。它将数据分成块并存储在不同的节点上，以实现数据的高可靠性和可扩展性。 4. MapReduce是一种分布式计算框架，用于处理大规模数据集。它将数据分成小块并在不同的节点上并行处理，以实现高效的数据处理。 5. Hadoop还包括其他组件，如YARN（资源管理器）和HBase（分布式NoSQL数据库）。 Spark： 1. Spark是一个快速、通用、可扩展的分布式计算框架，用于处理大规模数据集。 2. Spark的核心组件是Spark Core，它提供了分布式任务调度、内存计算和数据处理功能。 3. Spark还包括其他组件，如Spark SQL（用于结构化数据处理）、Spark Streaming（用于实时数据处理）和MLlib（用于机器学习）。 4. Spark使用RDD（弹性分布式数据集）作为其基本数据结构，它是一个可分区、可并行计算和可恢复的数据集合。 5. Spark支持多种编程语言，如Scala、Java、Python和R。 总结： Hadoop和Spark都是用于处理大规模数据集的分布式计算框架，它们有不同的核心组件和特点。Hadoop主要用于存储和处理大规模数据集，而Spark则更加注重数据处理的速度和效率。在实际应用中，可以根据具体需求选择合适的框架。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值