大型分布式存储系统架构 之 Hadoop YARN资源调度_yarn存储调度(1)

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上C C++开发知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以戳这里获取

• 作业提交
  • 第1步：Client调用job.waitForCompletion方法，向整个集群提交MapReduce作业。
  • 第2步：Client向RM申请一个作业id。
  • 第3步：RM给Client返回该job资源的提交路径和作业id。
  • 第4步：Client提交jar包、切片信息和配置文件到指定的资源提交路径。
  • 第5步：Client提交完资源后，向RM申请运行MrAppMaster。
• 作业初始化
  • 第6步：当RM收到Client的请求后，将该job添加到容量调度器中。
  • 第7步：某一个空闲的NM领取到该Job。
  • 第8步：该NM创建Container，并产生MRAppmaster。
  • 第9步：下载Client提交的资源到本地。
• 任务分配
  • 第10步：MrAppMaster向RM申请运行多个MapTask任务资源。
  • 第11步：RM将运行MapTask任务分配给另外两个NodeManager，另两个NodeManager分别领取任务并创建容器。
• 任务运行
  • 第12步：MR向两个接收到任务的NodeManager发送程序启动脚本，这两个NodeManager分别启动MapTask，MapTask对数据分区排序。
  • 第13步：MrAppMaster等待所有MapTask运行完毕后，向RM申请容器，运行ReduceTask。
  • 第14步：ReduceTask向MapTask获取相应分区的数据。
  • 第15步：程序运行完毕后，MR会向RM申请注销自己。
• 进度和状态更新
  YARN中的任务将其进度和状态返回给应用管理器, 客户端每秒(通过
  mapreduce.client.progressmonitor.pollinterval设置)向应用管理器请求进度更新, 展示给用
  户。
• 作业完成
  除了向应用管理器请求作业进度外, 客户端每5秒都会通过调用waitForCompletion()来检查作业是否完成。时间间隔可以通过mapreduce.client.completion.pollinterval来设置。作业完成之后, 应用管理器和Container会清理工作状态。作业的信息会被作业历史服务器存储以备之后用户核查。

Yarn调度策略

Hadoop作业调度器主要有三种**：FIFO、Capacity Scheduler和Fair Scheduler**。

Hadoop2.9.2默认的资源调度器是Capacity Scheduler。

可以查看yarn-default.xml

• FIFO(先进先出调度器)
  
• 容量调度器（Capacity Scheduler 默认的调度器）
  Apache Hadoop默认使用的调度策略。Capacity 调度器允许多个组织共享整个集群，每个组织可以获得集群的一部分计算能力。通过为每个组织分配专门的队列，然后再为每个队列分配一定的集群资源，这样整个集群就可以通过设置多个队列的方式给多个组织提供服务了。除此之外，队列内部又可以垂直划分，这样一个组织内部的多个成员就可以共享这个队列资源了，在一个队列内部，资源的调度是采用的是先进先出(FIFO)策略。
  

3. Fair Scheduler（公平调度器，CDH版本的hadoop默认使用的调度器）
   Fair调度器的设计目标是为所有的应用分配公平的资源（对公平的定义可以通过参数来设置）。公平调度在也可以在多个队列间工作。举个例子，假设有两个用户A和B，他们分别拥有一个队列。当A启动一个job而B没有任务时，A会获得全部集群资源；当B启动一个job后，A的job会继续运行，不过一会儿之后两个任务会各自获得一半的集群资源。如果此时B再启动第二个job并且其它job还在运行，则它将会和B的第一个job共享B这个队列的资源，也就是B的两个job会用于四分之一的集群资源，而A的job仍然用于集群一半的资源，结果就是资源最终在两个用户之间平等的共享

Yarn多租户资源隔离配置

Yarn集群资源设置为A,B两个队列，

• A队列设置占用资源70%主要用来运行常规的定时任务，
• B队列设置占用资源30%主要运行临时任务，
• 两个队列间可相互资源共享，假如A队列资源占满，B队列资源比较充裕，A队列可以使用B队列的资源，使总体做到资源利用最大化.

选择使用Fair Scheduler调度策略！！

具体配置

1. yarn-site.xml

<!-- 指定我们的任务调度使用fairScheduler的调度方式 --> 
<property> 
	<name>yarn.resourcemanager.scheduler.class</name> 	
	<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairSch eduler</value> 
	<description>In case you do not want to use the default scheduler</description> 
</property>

2. 创建fair-scheduler.xml文件
   在Hadoop安装目录/etc/hadoop创建该文件

<?xml version="1.0" encoding="UTF-8" standalone="yes"?> 
<allocations> 
	<defaultQueueSchedulingPolicy>fair</defaultQueueSchedulingPolicy> 
	<queue name="root" > 
		<queue name="default"> 
			<aclAdministerApps>*</aclAdministerApps> 
			<aclSubmitApps>*</aclSubmitApps> 


![img](https://img-blog.csdnimg.cn/img_convert/7843f62c8a09a586b727d96d6ed6a5a2.png)
![img](https://img-blog.csdnimg.cn/img_convert/e729b8eae06edee68972cf78f2464227.png)

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化的资料的朋友，可以添加戳这里获取](https://bbs.csdn.net/topics/618668825)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

25)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**