Hadoop入门之Yarn调度MR流程

最新推荐文章于 2023-02-20 21:19:31 发布
VIP文章 最新推荐文章于 2023-02-20 21:19:31 发布
阅读量2.8k 收藏 5
点赞数 1
分类专栏： hadoop Hadoop从入门到精通 文章标签： Hadoop Mapreduce Yarn 调度流程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sqh201030412/article/details/77652076
版权
首先明确下Yarn到底是什么? Yarn是一个资源调度系统,主要负责任务的维持及为任务分配需要的运行资源.


1.客户端生成相应的文件后,连接resourceManager请求提交一个application

2.resourceManager(RM)给客户端返回一个地址,供客户端提交文件.

3.Client提交文件到指定的HDFS地址上

4.Client向RM申请运行该任务的MRAppMaster.

5.MR将Client的请求的任务初始化为一个task放入到其维护的队列中.

6.当MR的调度策略调度到该task时,向一个NodeManager分配该task
最低0.47元/天 解锁文章
当以乐
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop学习总结包含mr、yarn、hdfs
04-18
hadoop学习总结包含mr、yarn、hdfs
Hadoop2中MR在上Yarn运行的流程
Dapan同学
07-18 1090
最近一直在补充Hadoop相关知识，发现网上相关知识很多，但是也比较杂，因此希望把自己的理解记录下来，方便日后查阅。首先要说明的是，Hadoop2和Hadoop1中，MapReduce程序的运行流程是不相同的。之前有关JobTracker的文章，讲述的主要是Hadoop1中的知识点。 接下来，我按照流程，说一下自己对于Hadoop2中，MapReduce程序运行在Yarn上的流程。 第一步...
大数据运维实战第十二课 Hadoop 分布式资源管理器 Yarn、MR 运行机制剖析
fegus的博客
08-19 775
本课时主要讲解了分布式资源管理器 Yarn、MR 运行机制，以及 Yarn 相关的 shell 命令，对于 Yarn 资源运行机制的了解有助于对 Hadoop 集群进行调优和故障排查，这部分内容非常重要，要求我们能熟练掌握。......
-大数据入门-2-Hadoop-mr提交到yarn的工作流程
chen_2_2的博客
07-19 290
mr在yarn架构设计 1.用户向yarn提交job，其中包含application master程序，启动application master的命令等。 2.RM为该job分配第一个container,与对应的NM通信，要求它在这个container启动作业的application master。 3.application master向applications manager注册，这样用户就...
Hadoop原理（HDFS+MR+YARN）
lihuan1124的博客
06-22 1957
一、HDFS原理1->HDFS 架构HDFS是一个分布式文件系统。一个HDFS集群主要由一个 NameNode ,一个Secondary NameNode 和多个 Datanode 组成：Namenode管理文件系统的元数据，Datanode存储数据。2->HDFS各个节点的功能NameNode：Master节点，是领导。管理数据块映射；处理客户端的读写请求；监控nanmenode的健...
Yarn提交mr的流程和三种调用方案的理解
sijiwang95的博客
02-20 542
Yarn提交mr的流程和三种调用方案的理解
23、hadoop集群中yarn运行mapreduce的内存、CPU分配调度计算与优化
05-29
23、hadoop集群中yarn运行mapreduce的内存、CPU分配调度计算与优化 网址：https://blog.csdn.net/chenwewi520feng/article/details/130457270 本文介绍在hadoop集群中，不适用默认的参数情况下，yarn的cpu和内容配置...
yarn入门——yarn的架构及作业调度
02-24
影响系统扩展不支持MapReduce之外的计算框架，比如Storm,spark,flink是一种新的Hadoop资源管理器，它是一个通用资源管理系统，YARN的基本思想是将JobTracker的两个主要功能（资源管理和作业调度/监控）分离，主要...
Hadoop技术-YARN资源调度器.pptx
11-02
Hadoop技术-YARN资源调度器.pptx
YARN提交MR程序流程以及MR调优
qq_22796957的博客
07-10 1851
YARN提交MR程序流程 YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成，如图4-23所示。 图4-23 Yarn基本架构 Yarn工作机制 1．Yarn运行机制，如图4-24所示。 图4-24 Yarn工作机制 2．工作机制详解 （1）MR程序提交到客户端所在的节点。 （2）YarnRunner向ResourceManager申请一个Application...
yarn基本运作流程
08-16
yarn各节点运作流程
四, Hadoop基础架构-YARN工作流程和调度器原理
菜菜的大数据开发の路
08-24 1025
四, Hadoop基础架构-YARN 一, Yarn-资源调度器 Yarn(Yet Another Resource Negotiator)是一个资源调度平台, 负责为运算程序提供服务器运算资源, 相当于一个分布式的操作系统平台, 而MapReduce等运算程序则相当于运行在这个操作系统上的应用程序. 1.1 Yarn 基础架构(RM, NM, AM, Contaioner) Yarn主要由 RM(resource manager), NM(node manager), AM(application
hadoop调度规则
vitamin000的博客
09-28 648
目录什么是调度规则先进先出调度（FIFO）容器调度（Capacity）公平调度（Fair）配置参数Capacity SchedulerFair Scheduler 什么是调度规则 什么是调度规则，在了解它之前我们需要先知道调度规则其在整个hadoop架构中所处的位置。然后带着以下两个疑问进行探索。 为什么会存在调度规则？ 调度规则有哪些，其区别又是什么？ 我们都知道原生hadoop的整个架构大致可以分为hdfs、yarn和mapreduce等。而其中yarn负责资源的分配、管理、调度等功能。是的，你已经
白话hadoop yarn的调度过程以mapreduce程序为例
allen的博客
01-25 3795
今天上完班，终于可以回去了，现在在公司没什么事干，就用白话来总结下mapreduce的执行流程吧，如果有错误的地方大家尽管指出。首先在hadoop 1.x中和hadoop 2.x中，mapreduce的执行流程也不一样（完全不一样），在hadoop1.x中 mapreduce的 资源管理与分配和任务监控都是集中在 jobtracker 上，这样会造成jobtracker的负担非常大，而且在hadoo
Hadoop的调度器总结
sanms的专栏
09-09 958
Hadoop的调度器总结 随着MapReduce的流行，其开源实现Hadoop也变得越来越受推崇。在Hadoop系统中，有一个组件非常重要，那就是调度器，它的作用是 将系统中空闲的资源按一定策略分配给作业。在Hadoop中，调度器是一个可插拔的模块，用户可以根据自己的实际应用要求设计调度器。Hadoop中常见 的调度器有三种，分别为： （1）默认的调度器FIFO Hadoop
Hadoop入门之自动化定时调度之Azkaban部署及使用
筑梦者
05-31 8446
azkaban的部署使用及如何结合项目的使用思考 1  部署azkaban 1.1 准备工作,下载相关安装包,这里我使用的是2.5版本的 官方:http://azkaban.github.io/downloads.html 还需要一个jdbc的连接jar包: 链接：http://pan.baidu.com/s/1dFe8avJ 密码：0pjh 我
Hadoop入门之HDFS上传和下载文件图解
筑梦者
08-23 3650
文件上传: 1.客户端向NameNode(NN)发送请求上传文件路径 2.NN响应Client确认是否能够上传文件 3.Client再次请求NN,上传一个Black块 4.NN响应Client给予几个要上传的DataNode的地址(有一定的容灾规则) 5.Client向第一个DataNode请求建立连接进行文件上传,第一个DataNode会向第二个DataNode请求建立
Hadoop入门之集群高可用HA的搭建及原理图
筑梦者
08-31 2989
hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.6.4又增加了YARN HA 注意：apache提供的hadoop-2.6.4的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库， 所以如果在64位的操作上安装hadoop-2.6.4就需要重新在64操作系统上重新编译 （建议第一次安装用32位的系统，我将
hadoop yarn 资源调度器配置
最新发布
09-18
Hadoop YARN是Hadoop的下一代集群资源管理系统，它将集群资源划分为容器，通过资源调度器来分配和管理这些容器。资源调度器的配置对于集群的性能和资源利用率至关重要。 首先，需要配置YARN的调度器类型。目前YARN支持两种调度器：容量调度器和公平调度器。容量调度器将集群资源按比例分配给不同的队列，每个队列有固定的资源容量；而公平调度器将资源动态分配给各个应用程序，根据应用程序的运行状况动态调整资源分配。 其次，需要配置队列的属性。队列属性包括队列名称、资源容量、资源限制等。资源容量指定了每个队列可以使用的最大资源数量，资源限制是为了避免某个队列占用过多资源而导致其他队列无法正常运行。 另外，还可以配置调度器的策略。调度策略根据不同的需求来决定资源的分配方式，比如公平策略会尽量保持各个应用程序获得相同的资源量，而容量策略则会按照预先设定的比例分配资源。 此外，还需要配置队列的优先级。队列优先级可以保证某个队列在资源不足时获得更多的资源，以确保高优先级的应用程序能够正常运行。 最后，还可以配置一些其他参数，例如最大容器数、最大AM资源比例等。这些参数可以根据具体的需求进行调整，以优化资源管理和调度效果。 总之，Hadoop YARN资源调度器的配置需要根据集群的实际情况和需求进行灵活的调整，以实现高效的资源管理和调度。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值