Hadoop原理_YARN(DHFS及Mapreduce在上一篇持续更新~)

IT界的追风者

已于 2024-05-16 23:21:51 修改

阅读量398

点赞数 4

分类专栏：大数据技术栈专栏文章标签： hadoop mapreduce word

于 2024-05-16 23:21:42 首次发布

本文链接：https://blog.csdn.net/m0_63593025/article/details/138978336

版权

大数据技术栈专栏专栏收录该内容

12 篇文章 0 订阅

订阅专栏

文章目录

Hadoop原理
- 3、YARN

Hadoop原理

备注：以上资料来自黑马线下培训班，文章末尾有黑马2024版python+大数据线下面授班课程，配套课件资料齐全，可联系博主领取！

3、YARN

3.1 yarn提交mr流程[面试]

在这里插入图片描述

1.客户端提交一个MR程序给ResourceManager(校验请求是否合法...)

2.如果请求合法,ResourceManager随机选择一个NodeManager用于生成appmaster(应用程序控制者,每个应用程序都单独有一个appmaster)
3.appmaster会主动向ResourceManager的应用管理器(application manager)注册自己,告知自己的状态信息,并且保持心跳
4.appmaster会根据任务情况计算自己所需要的container资源(cpu,内存...),主动向ResourceManager的资源调度器(resource scheduler)申请并获取这些container资源

5.appmaster获取到container资源后,把对应指令和container分发给其他NodeManager,让NodeManager启动task任务(maptask任务,reducetask任务)
6.NodeManager要和appmaster保持心跳,把自己任务计算进度和状态信息等同步给appmaster,(注意当maptask任务完成后会通知appmaster,appmaster接到消息后会通知reducetask去maptask那儿拉取数据)直到最后任务完成

7.appmaster会主动向ResourceManager注销自己(告知ResourceManager可以把自己的资源进行回收了,回收后自己就销毁了)

3.2 调度器

调度器的配置在yarn-site.xml查找,如果没有就去yarn-default.xml中找
网址: https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-common/yarn-default.xml
配置项和默认值如下yarn.resourcemanager.scheduler.class=org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler

3.2.1 先进先出调度器

在这里插入图片描述

FIFO Scheduler: 把应用按提交的顺序排成一个队列，在进行资源分配的时候，先给队列中最头上的应用进行分配资源，待最头上的应用需求满足后再给下一个分配，以此类推。
好处:  能够保证每一个任务都能拿到充足的资源, 对于大任务的运行非常有好处
弊端:  如果先有大任务后有小任务,会导致后续小任务无资源可用, 长期处于等待状态
应用:  测试环境。因为在生产环境里面，我们需要能够同时运行多个SQL

3.2.2 公平调度器

Fair Scheduler :不需要保留集群的资源，因为它会动态在所有正在运行的作业之间平衡资源 , 当一个大job提交时，只有这一个job在运行，此时它获得了所有集群资源；当后面有小任务提交后，Fair调度器会分配一半资源给这个小任务，让这两个任务公平的共享集群资源。

好处:  保证每个任务都有资源可用, 不会有大量的任务等待在资源分配上
弊端: 如果大任务非常的多, 就会导致每个任务获取资源都非常的有限, 也会导致执行时间会拉长
应用: CDH商业版本的hadoop

在这里插入图片描述

3.2.3 容量调度器

在这里插入图片描述

Capacity Scheduler: 为每个组织分配专门的队列和一定的集群资源，这样整个集群就可以通过设置多个队列的方式给多个组织提供服务了。在每个队列内部，资源的调度是采用的是先进先出(FIFO)策略。
好处: 可以保证多个任务都可以使用一定的资源, 提升资源的利用率
弊端: 如果遇到非常的大的任务, 此任务不管运行在那个队列中, 都无法使用到集群中所有的资源,  导致大任务执行效率比较低,当任务比较繁忙的时候, 依然会出现等待状态
应用: apache开源版本的hadoop

示例:

调度器的使用是通过yarn-site.xml配置文件中的
yarn.resourcemanager.scheduler.class参数进行配置的，默认采用Capacity Scheduler调度器
下面是一个简单的Capacity调度器的配置文件，文件名为capacity-scheduler.xml。

在这个配置中，在root队列下面定义了两个子队列prod和dev，分别占40%和60%的容量

    <property>
        <!-- 队列分为两份 prod 和 dev    -->
        <name>yarn.scheduler.capacity.root.queues</name>
        <value>prod,dev</value>
    </property>
       <property>
        <!--prod占比 40%-->
        <name>yarn.scheduler.capacity.root.prod.capacity</name>
        <value>40</value>
    </property>
    <property>
        <!--dev占比 60%-->
        <name>yarn.scheduler.capacity.root.dev.capacity</name>
        <value>60</value>
    </property>
    <property>
        <!-- dev的最大占比 75%-->
        <name>yarn.scheduler.capacity.root.dev.maximum-capacity</name>
        <value>75</value>
    </property>