Hadoop学习-05-Yarn

最新推荐文章于 2023-10-20 00:05:05 发布
最新推荐文章于 2023-10-20 00:05:05 发布
阅读量258 收藏
点赞数
分类专栏： # Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Ty_0026/article/details/116934133
版权

理论相关

Yarn 是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式 的操作系统平台，而 MapReduce 等运算程序则相当于运行于操作系统之上的应用程序。

基础架构

主要由ResourceManager、NodeManager、ApplicationMaster 和 Container 等组件构成。

  • ResourceManager：
    • 处理客户端请求
    • 监控NodeManager
    • 启动或监控c
    • 资源的分配与调度
  • NodeManager：
    • 管理单个节点上的资源
    • 处理来自ResourceManager的命令
    • 处理来自ApplicationMaster的命令
  • ApplicationMaster：
    • 为应用程序申请资源并分配给内部的任务
    • 任务的监控与容错
  • Container：
    • YARN资源抽象，封装了某个节点上的多维度资源，如内存、CPU、磁盘、网络等

工作机制

image-20210510141053842

  1. MR程序提交到客户端所在节点
  2. YarnRunner向ResourceManager申请一个Application
  3. RM将该应用程序的资源路径返回给YarnRunner
  4. 该程序将运行所需资源提交到HDFS上
  5. 程序资源提交完毕后，申请运行mrAppMaster
  6. RM将用户的请求初始化成一个Task
  7. 其中一个NodeManager领取到Task任务
  8. 该NodeManager创建容器Container，并产生MRAppMaster
  9. Container从HDFS上拷贝资源到本地
  10. MRAppmaster向RM申请 运行MapTask资源
  11. RM将运行MapTask任务分配给另外两个NodeManager，另外两个NodeManager分别领取任务并创建容器
  12. MR向两个接收到任务的NodeManager发送程序启动脚本，这两个NodeManager分别启动MapTask，MapTask对数据分区排序
  13. MrAppMaster等待所有MapTask运行完毕后，向RM申请容器，运行ReduceTask
  14. ReduceTask向MapTask获取相应分区的数据
  15. 程序运行完毕后，MR会向RM申请注销自己

作业提交过程

image-20210510143058630

  1. 作业提交
    1. Client调用waitForCompletion方法向集群提交 MapReduce作业
    2. Client向RM申请一个作业id
    3. RM向Client返回该Job资源的提交路径和作业id
    4. Client提交jar包、切片信息和配置文件到指定的资源提交路径
    5. client提交完资源后，向RM申请运行MrAppmaster
  2. 作业初始化
    1. 当RM收到Client请求后，将该job添加到容量调度器中
    2. 某一个空闲的NM领取到该job
    3. 该NM创建container，并产生MRAppmaster
    4. 下载Client提交的资源到本地
  3. 任务分配
    1. MrAppmaster向RM申请运行多个MapTask任务资源
    2. RM将运行MapTask任务分配给另外两个NodeManager，另两个NodeManager分别领取任务并创建容器
  4. 任务运行
    1. MR向两个接收到任务的NodeManager发送程序启动脚本，这两个NodeManager分别启动MapTask，MapTask对数据分区排序
    2. MrAppMaster等待所有MapTask运行完毕后，向RM申请容器，运行ReduceTask
    3. ReduceTask向MapTask获取相应分区的数据
    4. 程序运行完毕后，MR会向RM申请注销自己
  5. 进度和状态更新
    • Yarn中的任务将其进度和状态返回给应用管理器，客户端每秒向应用管理器请求进度更新，展示给用户
  6. 作业完成
    • 除了向应用管理器请求作业进度外，客户端没5s都会通过调用waitForCompletion来检查作业是否完成，时间间隔可以设置，应用管理器和container会清理工作状态，作业的信息会被作业历史服务器存储以备之后用户核查

调度器和调度算法

主要调度器有三种：FIFO、容量（Capacity Scheduler）、公平（Fair Scheduler），Apache Hadoop3.1.3默认的资源调度器是容量（Capacity Scheduler），CDH框架默认调度器为（Fair Scheduler）

FIFO

先来先服务

优点：简单易懂，服务如其名

缺点：不支持多队列，生产环境很少使用

容量调度器

Capacity Scheduler是Yahoo开发的多用户调度器

特点：

  • 多队列： 每一个队列可以配置一定的资源量，每个队列采用FIFO调度策略
  • 容量保证：管理员可以为每个队列设置资源最低保证和资源使用上限
  • 灵活性：如果一个队列中的资源有剩余，可以暂时共享给哪些需要资源的队列，而一旦该队列有新的应用程序提交，则其它队列借调的资源会归还给该队列
  • 多租户：支持多用户共享集群和多应用程序同时运行，为了防止同一个用户的作业独占队列中的资源，该调度器会对统一用户提交的作业所占资源量进行限定

算法：

  1. 队列资源分配：从root开始，使用深度优先算法，优先选择资源占用率最低的队列分配资源
  2. 作业资源分配：默认按照提交作业的优先级和提交时间顺序分配资源
  3. 容器资源分配：按照容器的优先级分配资源，如果优先级相同，按照数据本地性原则：任务和数据在同一个节点上，任务和数据在同一个机架上，任务和数据不再同一个节点也不在同一个机架上

image-20210510171912055

公平调度器

Fair Scheduler 是Facebook开发的多用户调度器，通队列所有任务共享资源，在时间尺度上获得公平的资源

  • 与容量调度器相同点

    • 多队列： 每一个队列可以配置一定的资源量，每个队列采用FIFO调度策略
    • 容量保证：管理员可以为每个队列设置资源最低保证和资源使用上限
    • 灵活性：如果一个队列中的资源有剩余，可以暂时共享给哪些需要资源的队列，而一旦该队列有新的应用程序提交，则其它队列借调的资源会归还给该队列
    • 多租户：支持多用户共享集群和多应用程序同时运行，为了防止同一个用户的作业独占队列中的资源，该调度器会对统一用户提交的作业所占资源量进行限定

  • 不同点

    • 核心调度策略不同
      • 容量调度器优先选择资源利用率低的队列
      • 公平调度器优先选择对资源的缺额比例大的
    • 每个队列可以单独设置资源分配方式
      • 容量调度器：FIFO、DFR
      • 公平调度器：FIFO、FAIR、DRF

  • 缺额：

    • 公平调度器设计目标是在时间尺度上，所有作业获得公平的资源，某一时刻一个作业应获资源和实际获取资源的差距叫做缺额
    • 调度器会优先为缺额大的作业分配资源

  • FAIR资源分配方式

    • 默认是一种基于最大最小公平算法实现的资源多路复用方式，默认情况下，每个队列内部采用该方式分配资源，这意味如果一个队列中有两个应用程序同时运行，则每个应用程序可得到1/2的资源：如果三个应用程序同时运行，则每个应用程序可得到1/3的资源
    • 具体资源分配流程与容量调度器一致
      • 选择队列
      • 选择作业
      • 选择容器
      • 以上三步每一步都是按照公平测量分配资源

    image-20210510180029881

    • DRF策略
      • 假设集群一共有100 CPU和10T 内存，而应用A需要（2 CPU, 300GB），应用B需要（6 CPU，100GB）。 则两个应用分别需要A（2%CPU, 3%内存）和B（6%CPU, 1%内存）的资源，这就意味着A是内存主导的, B是 CPU主导的，针对这种情况，我们可以选择DRF策略对不同应用进行不同资源（CPU和内存）的一个不同比例的限制。

常用命令

# 列出所有 Application
yarn application -list
# 根据  Application 状态过滤：yarn application -list -appStates （所有状态：ALL、NEW、 NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLED）
yarn  application  -list  -appStates FINISHED
# Kill 掉 Application
yarn application -kill application_1612577921195_0001

#查询 Application 日志
yarn logs -applicationId <ApplicationId>
#查询 Container 日志
yarn logs -applicationId <ApplicationId> -containerId <ContainerId> 

#列出所有 Application 尝试的列表
yarn applicationattempt -list <ApplicationId>
#打印  ApplicationAttemp 状态
yarn applicationattempt -status <ApplicationAttemptId>

#列出所有 Container
yarn container -list <ApplicationAttemptId>
#打印 Container 状态 注：只有在任务跑的途中才能看到  container 的状态
yarn container -status <ContainerId>

#列出所有节点
yarn node -list -all

#加载队列配置
yarn rmadmin -refreshQueues
#打印队列信息
yarn queue -status <QueueName>

Yarn核心参数

  • RM：

    • yarn.resource.manager.scheduler.class, 配置调度器，默认容量
    • yarn.resource.manager.scheduler.client.thread-count，处理调度器请求的线程数量，默认50

  • NM：

    • yarn.nodemanager.resource.detect-hardware-capabilities， 是否让yarn自己检测硬件进行配置，默认false
    • yarn.nodemanager.resource.count-logical-processors-as-cores 是否将虚拟核数当作CPU核数，默认false
    • yarn.nodemanager.resource.pcores-vcores-multiplier 虚拟核数和物理核数乘数，例如：4核8线程，该 参数就应设为2，默认1.0
    • yarn.nodemanager.resource.memory-mb NodeManager使用内存，默认8G
    • yarn.nodemanager.resource.system-reserved-memory-mb NodeManager为系统保留多少内存

    以上两个参数配置一个即可

    • yarn.nodemanager.resource.cpu-vcores NodeManager使用CPU核数，默认8个
    • yarn.nodemanager.pmem-check-enabled 是否开启物理内存检查限制container，默认打开
      调度器
    • yarn.nodemanager.vmem-check-enabled 是否开启虚拟内存检查限制container，默认打开
    • yarn.nodemanager.vmem-pmem-ratio 虚拟内存物理内存比例，默认2.1

  • Container：

    • yarn.scheduler.minimum-allocation-mb 容器最最小内存，默认1G
    • yarn.scheduler.maximum-allocation-mb 容器最最大内存，默认8G
    • yarn.scheduler.minimum-allocation-vcores 容器最小CPU核数，默认1个
    • yarn.scheduler.maximum-allocation-vcores 容器最大CPU核数，默认4个

核心参数配置

yarn-site.xml

<!-- 选择调度器，默认容量    -->
<property>
    <description>The class to use as the resource scheduler.</description>
    <name>yarn.resourcemanager.scheduler.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capaci ty.CapacityScheduler</value>
</property>
<!-- ResourceManager处理调度器请求的线程数量,默认  50；如果提交的任务数大于  50，可以 增加该值，但是不能超过  3台   * 4线程   = 12线程（去除其他应用程序实际不能超过  8）   -->
<property>
    <description>Number of threads interface.</description>
    <name>yarn.resourcemanager.scheduler.client.thread-count</name>
    <value>8</value>
</property>
<!-- 是否让  yarn自动检测硬件进行配置，默认是  false，如果该节点有很多其他应用程序，建议 手动配置。如果该节点没有其他应用程序，可以采用自动   -->
<property>
    <name>yarn.nodemanager.resource.detect-hardware-capabilities</name>
    <value>false</value>
</property>
        <!-- 是否将虚拟核数当作  CPU核数，默认是  false，采用物理  CPU核数   -->
<property>
    <name>yarn.nodemanager.resource.count-logical-processors-as- cores</name>
    <value>false</value>
</property>
        <!-- 虚拟核数和物理核数乘数，默认是  1.0 -->
<property>
    <name>yarn.nodemanager.resource.pcores-vcores-multiplier</name>
    <value>1.0</value>
</property>
        <!-- NodeManager使用内存数，默认  8G，修改为  4G内存    -->
<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>4096</value>
</property>
        <!-- nodemanager的  CPU核数，不按照硬件环境自动设定时默认是  8个，修改为  4个   -->
<property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>4</value>
</property>
<!-- 容器最小内存，默认  1G -->
<property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>1024</value>
</property>
<!-- 容器最大内存，默认  8G，修改为  2G -->
<property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>2048</value>
</property>
        <!-- 容器最小  CPU核数，默认  1个   -->
<property>
    <name>yarn.scheduler.minimum-allocation-vcores</name>
    <value>1</value>
</property>
        <!-- 容器最大  CPU核数，默认  4个，修改为  2个   -->
<property>
    <name>yarn.scheduler.maximum-allocation-vcores</name>
    <value>2</value>
</property>
        <!-- 虚拟内存检查，默认打开，修改为关闭    -->
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>
        <!-- 虚拟内存和物理内存设置比例,默认  2.1 -->
<property>
    <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>2.1</value>
</property>
<!--任务优先级配置-->
<property>
	<name>yarn.cluster.max-application-priority</name>
    <value>5</value>
</property>
<property>
    <name>yarn.resourcemanager.scheduler.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairS cheduler</value>
    <description>配置使用公平调度器</description>
</property>
<property>
    <name>yarn.scheduler.fair.allocation.file</name>
    <value>/opt/module/hadoop-3.1.3/etc/hadoop/fair-scheduler.xml</value>
    <description>指明公平调度器队列分配配置文件</description>
</property> 
<property>
    <name>yarn.scheduler.fair.preemption</name>
    <value>false</value>
    <description>禁止队列间资源抢占</description>
</property>

capacity-scheduler.xml

<!-- 指定多队列，增加  hive队列   -->
<property>
    <name>yarn.scheduler.capacity.root.queues</name>
    <value>default,hive</value>
</property>
        <!-- 降低  default队列资源额定容量为  40%，默认  100% -->
<property>
    <name>yarn.scheduler.capacity.root.default.capacity</name>
    <value>40</value>
</property>
        <!-- 降低  default队列资源最大容量为  60%，默认  100% -->
<property>
    <name>yarn.scheduler.capacity.root.default.maximum-capacity</name>
    <value>60</value>
</property>
<!-- 指定  hive队列的资源额定容量   -->
<property>
    <name>yarn.scheduler.capacity.root.hive.capacity</name>
    <value>60</value>
</property>
        <!-- 用户最多可以使用队列多少资源，1表示   -->
<property>
    <name>yarn.scheduler.capacity.root.hive.user-limit-factor</name>
    <value>1</value>
</property>
        <!-- 指定  hive队列的资源最大容量   -->
<property>
    <name>yarn.scheduler.capacity.root.hive.maximum-capacity</name>
    <value>80</value>
</property>
        <!-- 启动  hive队列   -->
<property>
    <name>yarn.scheduler.capacity.root.hive.state</name>
    <value>RUNNING</value>
</property>
<!-- 哪些用户有权向队列提交作业   -->
<property>
    <name>yarn.scheduler.capacity.root.hive.acl_submit_applications</name>
    <value>*</value>
</property>
        <!-- 哪些用户有权操作队列，管理员权限（查看/杀死）    -->
<property>
    <name>yarn.scheduler.capacity.root.hive.acl_administer_queue</name>
    <value>*</value>
</property>
        <!-- 哪些用户有权配置提交任务优先级    -->
<property>
    <name>yarn.scheduler.capacity.root.hive.acl_application_max_priority</name>
    <value>*</value>
</property>
        <!-- 任务的超时时间设置：yarn application -appId appId -updateLifetime Timeout 参考资料：https://blog.cloudera.com/enforcing-application-lifetime-slas- yarn/ -->
        <!-- 如果  application指定了超时时间，则提交到该队列的  application能够指定的最大超时 时间不能超过该值。
        -->
<property>
    <name>yarn.scheduler.capacity.root.hive.maximum-application- lifetime</name>
    <value>-1</value>
</property>
        <!-- 如果  application没指定超时时间，则用  default-application-lifetime作为默认 值   -->
<property>
    <name>yarn.scheduler.capacity.root.hive.default-application- lifetime</name>
    <value>-1</value>
</property>

fair-scheduler.xml需手动创建

<?xml version="1.0"?>
<allocations>
    <!-- 单个队列中  Application Master占用资源的最大比例,取值  0-1 ，企业一般配置  0.1 -->
    <queueMaxAMShareDefault>0.5</queueMaxAMShareDefault> <!-- 单个队列最大资源的默认值   test atguigu default -->
    <queueMaxResourcesDefault>4096mb,4vcores</queueMaxResourcesDefault> <!-- 增加一个队列  test -->
    <queue name="test">
        <!-- 队列最小资源   -->
        <minResources>2048mb,2vcores</minResources>
        <!-- 队列最大资源   -->
        <maxResources>4096mb,4vcores</maxResources>
        <!-- 队列中最多同时运行的应用数，默认  50，根据线程数配置   -->
        <maxRunningApps>4</maxRunningApps>
        <!-- 队列中  Application Master占用资源的最大比例   -->
        <maxAMShare>0.5</maxAMShare>
        <!-- 该队列资源权重,默认值为  1.0 -->
        <weight>1.0</weight>
        <!-- 队列内部的资源分配策略   -->
        <schedulingPolicy>fair</schedulingPolicy>
    </queue>
    <!-- 增加一个队列  atguigu -->
    <queue name="atguigu" type="parent">
        <!-- 队列最小资源   -->
        <minResources>2048mb,2vcores</minResources>
        <!-- 队列最大资源   -->
        <maxResources>4096mb,4vcores</maxResources>
        <!-- 队列中最多同时运行的应用数，默认  50，根据线程数配置   -->
        <maxRunningApps>4</maxRunningApps>
        <!-- 队列中  Application Master占用资源的最大比例   -->
        <maxAMShare>0.5</maxAMShare>
        <!-- 该队列资源权重,默认值为  1.0 -->
        <weight>1.0</weight>
        <!-- 队列内部的资源分配策略   -->
        <schedulingPolicy>fair</schedulingPolicy>
    </queue>
    <!-- 任务队列分配策略,可配置多层规则,从第一个规则开始匹配,直到匹配成功   -->
    <queuePlacementPolicy>
        <!-- 提交任务时指定队列,如未指定提交队列,则继续匹配下一个规则; false表示：如果指 定队列不存在,不允许自动创建-->
        <rule name="specified" create="false"/>
        <!-- 提交到  root.group.username队列,若  root.group不存在,不允许自动创建；若 root.group.user不存在,允许自动创建   -->
        <rule name="nestedUserQueue" create="true">
            <rule name="primaryGroup" create="false"/>
        </rule>
        <!-- 最后一个规则必须为  reject或者  default。Reject表示拒绝创建提交失败， default表示把任务提交到  default队列   -->
        <rule name="reject"/>
    </queuePlacementPolicy>
</allocations>

Tool接口

兼容-D等配置参数

public class WordCount implements Tool {
    private Configuration conf;

    @Override
    public int run(String[] args) throws Exception {
        Job job = Job.getInstance(conf);
        job.setJarByClass(WordCountDriver.class);
        job.setMapperClass(WordCountMapper.class);
        job.setReducerClass(WordCountReducer.class);
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        FileInputFormat.setInputPaths(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));
        return job.waitForCompletion(true) ? 0 : 1;
    }

    @Override
    public void setConf(Configuration conf) {
        this.conf = conf;
    }

    @Override
    public Configuration getConf() {
        return conf;
    }

    public static class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
        private Text outK = new Text();
        private IntWritable outV = new IntWritable(1);

        @Override
        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            String line = value.toString();
            String[] words = line.split(" ");
            for (String word : words) {
                outK.set(word);
                context.write(outK, outV);
            }
        }
    }

    public static class WordCountReducer extends Reducer<Text,
            IntWritable, Text, IntWritable> {
        private IntWritable outV = new IntWritable();

        @Override
        protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
            int sum = 0;
            for (IntWritable value : values) {
                sum += value.get();
            }
            outV.set(sum);
            context.write(key, outV);
        }
    }
}

public class WordCountDriver {
    private static Tool tool;

    public static void main(String[] args) throws Exception { // 1. 创建配置文件
        Configuration conf = new Configuration(); // 2. 判断是否有 tool接口
        switch (args[0]) {
            case "wordcount":
                tool = new WordCount();
                break;
            default:
                throw new RuntimeException(" No such tool: " +
                        args[0]);
        }
// 3. 用 Tool执行程序
// Arrays.copyOfRange 将老数组的元素放到新数组里面 int run = ToolRunner.run(conf, tool, 
        Arrays.copyOfRange(args, 1, args.length));
        System.exit(run);
    }
}

Ty_0026
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop学习
Take pains, and be perfect
03-14 684
初识Hadoop Hadoop主要由两个部分构成： HDFS分布式文件系统MapReduce分布式数据分析处理系统 HDFS 解决大数据时代单磁盘存储数据过大，读取缓慢问题。 适用场景 一次写入，多次读取(查询)。不支持并发写入、修改。运行在普通硬件上适用于高吞吐量应用，不适用于低时间延迟(几十毫秒内)应用不适用于大量小文件，文件系统所能存储的文件总数受限于na
YARN公平调度器-原理和入门配置
ArYe
04-24 2413
Fair Scheduler 公平调度器 支持多队列 在同一条叶子队列上，所有作业可以并发； 资源分配的依据：时间尺度、优先级、资源缺额… 默认情况下，所有用户共享一个名为default的队列 配置
YARN 三大调度器 之 Fair Schedule 公平调度器
努力吧闫小胖的博客
09-06 3747
Fair Schedule 先上官网链接：https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/FairScheduler.html 本帖基本来自官方文档~细改了翻译，字有点多，多为文字描述= =慢慢看 另一篇：YARN 三大调度器 之 Capacity Schedule 容器调度器 概述 公平调度是一种为...
yarn资源调度详解
AntKengElephant的博客
11-23 1046
Fair Scheduler将整个Yarn的可用资源划分成多个资源池，每个资源池中可以配置最小和最大的可用资源（内存和CPU）、最大可同时运行Application数量、权重、以及可以提交和管理Application的用户等。 现在一般的大数据平台也都提供了可配置的界面： 以TDH为例： default 也就是有一个默认的队列, 首先在yarn-site.xml中，将配置参数yarn....
Hadoop3教程（二十五）：Yarn的多队列调度器使用案例
经年藏殊的博客
10-20 1062
介绍了生产环境中多队列调度器的好处，以及如何为容量调度器和公平调度器添加多个队列，最后简单介绍了下这两个调度器在使用时的一些参数配置。
2.5 MapReduce架构
BF-Lone Silver Wind 的博客
12-20 102
MapReduce1.x client 客户端发送mr任务到集群 客户端的种类有很多种 hadoop jar wordcount.jar JobTracker 接受客户端的mr任务 选择一个资源丰富的，执行对应的任务 并且给这个任务分配资源 与TaskTracker保持心跳，接受汇报信息 TaskTracker 保持心跳，汇报资源 当分配资源之后，开始在本机分配对应的资源...
hadoop-yarn-client-2.6.5-API文档-中文版.zip
05-01
赠送jar包：hadoop-yarn-client-2.6.5.jar； 赠送原API文档：hadoop-yarn-client-2.6.5-javadoc.jar； 赠送源代码：hadoop-yarn-client-2.6.5-sources.jar； 赠送Maven依赖信息文件：hadoop-yarn-client-2.6.5.pom；...
hadoop-yarn-common-2.6.5-API文档-中文版.zip
04-07
赠送jar包：hadoop-yarn-common-2.6.5.jar 赠送原API文档：hadoop-yarn-common-2.6.5-javadoc.jar 赠送源代码：hadoop-yarn-common-2.6.5-sources.jar 包含翻译后的API文档：hadoop-yarn-common-2.6.5-javadoc-...
hadoop-yarn-api-2.5.1-API文档-中文版.zip
04-23
赠送jar包：hadoop-yarn-api-2.5.1.jar； 赠送原API文档：hadoop-yarn-api-2.5.1-javadoc.jar； 赠送源代码：hadoop-yarn-api-2.5.1-sources.jar； 赠送Maven依赖信息文件：hadoop-yarn-api-2.5.1.pom； 包含翻译后...
hadoop-yarn-server-timelineservice-2.10.1.jar
04-10
timelineservice jar包
hadoop-yarn-server-resourcemanager-2.7.4.jar
08-06
hadoop2.7.4安装包补丁包，解决yarn定时调度启动问题！！
Hadoop: Fair Scheduler yarn公平调度
飞朋的博客
01-03 852
目的 FairScheduler 是一个插件式的 Hadoop 调度器，它允许 yarn 程序在集群中以公平的方式共享资源 简介 公平调度是一种将资源分配给应用程序的方法，以便所有应用程序在一段时间内平均获得相等的资源份额。Hadoop NextGen能够调度多种资源类型。在默认情况下，公平调度程序仅基于内存调度公平决策。它可以配置为使用内存和CPU进行调度，使用Ghodsi等人开发的主导资...
三：Fair Scheduler 公平调度器
weixin_30898109的博客
08-30 183
参考资料： http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/FairScheduler.html http://han-zw.iteye.com/blog/2322189 (转载其部分内容) 1.介绍2.队列分层3.配置3.1配置yarn-site.xml3.2 Allocation file格式3....
大数据—Hadoop（十七）_ Yarn_03、实操配置
梳理大数据技术
11-06 688
Yarn资源管理协调软件，解耦了计算本身和计算管理两件事情，让后续出现的Tez、Spark、Flink等框架都能通过Yarn来管理资源，只处理自身擅长的数据计算工作
yarn中资源调度fair schedule详解
热门推荐
何成俭的博客
02-27 1万+
Fair Scheduler将整个Yarn的可用资源划分成多个资源池，每个资源池中可以配置最小和最大的可用资源（内存和CPU）、最大可同时运行Application数量、权重、以及可以提交和管理Application的用户等。 现在一般的大数据平台也都提供了可配置的界面： 以TDH为例： default 也就是有一个默认的队列, 首先在yarn-site
[Hadoop]-Yarn-调度器篇
weixin_30809333的博客
06-23 193
Yarn的资源调度策略 　　理想情况下,我们对Yarn的资源申请应该立即得到满足,但实际情况下整个集群的资源总量是有限的,这时就依赖资源调度器对资源进行调度了. 　　但在实际过程中,资源的调度策略本身就是一个难题,很难有一个完美的调度策略可以适用与所有的情况,为此Yarn提供了三种调度器让我们自行选择适用 　　FIFO调度器 　　　　　　这种调度会把所有资源申请放入一个队列先进先出.这是最...
Hadoop 配置多队列的公平调度器
qq_27242695的博客
10-10 439
文章目录Hadoop 配置多队列的公平调度器1 需求2 配置2.1 修改yarn-site.xml，加入以下参数2.1 配置fair-scheduler.xml3 分发配置并重启 Yarn Hadoop 配置多队列的公平调度器 1 需求 配置三个队列，default，develop，test 提交任务无指定队列，默认提交到用户名相同的队列，无该队列则拒绝 2 配置 2.1 修改yarn-site.xml，加入以下参数 <property> <name>yarn.resource
大学生挑战杯-喜树根器官培养和抗癌物质喜树碱生成的研究.rar
最新发布
07-26
大学生挑战杯-喜树根器官培养和抗癌物质喜树碱生成的研究.rar
hadoop-yarn-client
07-06
### 回答1： Hadoop YARN (Yet Another Resource Negotiator) 是一个基于Hadoop的集群资源管理系统。Hadoop YARN Client是Hadoop YARN中的一部分，它是用来与YARN ResourceManager通信的客户端工具。 Hadoop YARN Client的主要功能是向YARN ResourceManager提交应用程序并获取集群的资源来执行这些应用程序。当一个应用程序需要在Hadoop集群上运行时，开发人员可以使用Hadoop YARN Client来编写和提交应用程序，然后该客户端将应用程序的相关信息发送给YARN ResourceManager。这些应用程序可以是MapReduce程序，也可以是其他类型的应用程序，例如Spark、Flink等。 使用Hadoop YARN Client，开发人员可以指定应用程序所需的计算资源和内存等配置参数。此外，Hadoop YARN Client还可以跟踪应用程序的状态，并显示有关应用程序执行进度和状态的相关信息。如果发生错误或异常，开发人员可以使用Hadoop YARN Client来取消或终止应用程序的执行。 Hadoop YARN Client利用YARN ResourceManager的资源调度功能，将应用程序提交给ResourceManager后，ResourceManager将根据集群的资源情况来分配相应的资源给该应用程序。此外，Hadoop YARN Client还可以与NodeManager通信，以获取有关执行任务的节点的信息，并监视应用程序的进度。 总的来说，Hadoop YARN Client提供了一个方便的方式来提交和管理应用程序的执行，并与YARN ResourceManager和NodeManager进行通信，以获取资源和监视应用程序的状态。通过使用Hadoop YARN Client，开发人员可以更容易地在Hadoop集群上运行和管理各种类型的应用程序。 ### 回答2： Hadoop YARN客户端是Hadoop生态系统中的一个关键组件，用于与YARN资源管理器进行通信，并提交、监控和管理MapReduce作业或其他分布式计算任务。YARN（Yet Another Resource Negotiator）是Hadoop的资源管理器，负责集群资源的分配和任务的调度。 Hadoop YARN客户端的主要功能包括作业的提交和监控。当用户想要运行一个MapReduce作业时，他们可以使用YARN客户端来提交该作业。YARN客户端将作业的执行所需要的资源需求和其他相关信息发送给YARN资源管理器。资源管理器根据集群中可用的资源和调度策略来分配资源，并将作业的任务分配给相应的节点上的容器来执行。 同时，YARN客户端还可以监控作业的执行进度和状态。用户可以通过YARN客户端查询和获取作业的相关信息，如已完成的任务数、失败的任务数、运行时间等。这些信息对于实时监控作业的运行状况以及进行作业调优非常有帮助。 此外，YARN客户端还可以用于管理作业的生命周期。用户可以使用YARN客户端来杀死正在运行的作业或取消已提交但未开始执行的作业。这对于当用户不再需要某个作业时或出现意外情况需要中断作业时非常有用。 总之，Hadoop YARN客户端是Hadoop生态系统中负责与YARN资源管理器通信的关键组件。它提供了作业的提交、监控和管理的功能，帮助用户实现高效的分布式计算任务。 ### 回答3： Hadoop-YARN-Client是Hadoop生态系统中的一个组件，它是Hadoop资源管理器（YARN）的客户端库。YARN是Hadoop的第二代资源管理系统，它的目的是为集群中的各个工作负载提供资源调度和管理服务。 Hadoop-YARN-Client的作用是允许用户通过编程方式与YARN交互，以便向集群提交应用程序，并监控和管理它们的执行。通过Hadoop-YARN-Client，用户可以以编程方式与YARN的应用程序客户端接口（API）进行交互，完成下列任务： 1. 提交应用程序：用户可以使用Hadoop-YARN-Client将一个应用程序提交给YARN。提交应用程序时，需要指定应用程序的类型、优先级、所需资源等信息，并将应用程序的代码和依赖项打包成一个本地或分布式的Jar文件。 2. 监控应用程序：一旦应用程序被提交到YARN，用户可以使用Hadoop-YARN-Client监控应用程序的执行情况。用户可以查询应用程序的状态、进度和资源使用情况等信息。 3. 管理应用程序：用户可以使用Hadoop-YARN-Client管理应用程序的执行。例如，用户可以请求YARN增加或减少分配给应用程序的资源，或者终止应用程序的执行。 总之，Hadoop-YARN-Client是Hadoop生态系统中与YARN交互的关键组件之一。它为用户提供了一种便捷的方式来提交、监控和管理在YARN上执行的应用程序，让用户能够更好地利用集群资源和进行任务调度。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值