Yarn的详细使用

最新推荐文章于 2024-06-08 09:46:44 发布
最新推荐文章于 2024-06-08 09:46:44 发布
阅读量516 收藏
点赞数
分类专栏： 大数据 文章标签： hadoop yarn 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44002865/article/details/119446847
版权

Yarn

文章目录

1、常用命令

查看任务(yarn application)

  • 列出所有 Application
    • yarn application -list
  • 根据 Application 状态过滤（所有状态：ALL、NEW、 NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLED）
    • yarn application -list -appStates <状态(ALL/RUNNING/FINISHED/...)>
  • Kill 掉 Application
    • yarn application -kill <ApplicationId>



查看日志(yarn logs)

  • 查询 Application 日志
    • yarn logs -applicationId <ApplicationId>
  • 查询 Container 日志
    • yarn logs -applicationId <ApplicationId> -containerId <ContainerId>



查看尝试运行的任务(yarn applicationattempt)

  • 列出所有 Application 尝试的列表
    • yarn applicationattempt -list <ApplicationId>
  • 打印 ApplicationAttemp 状态
    • yarn applicationattempt -status <ApplicationAttemptId>



查看容器(yarn container)

  • 列出所有 Container
    • yarn container -list <ApplicationAttemptId>
  • 打印 Container 状态
    • yarn container -status <ContainerId>



查看节点状态(yarn node)

  • 列出所有节点
    • yarn node -list -all



查看队列(yarn queue)

  • 打印队列信息
    • yarn queue -status <QueueName>




2、生产环境核心参数

参数解释
yarn.resourcemanager.scheduler.class配置调度器，默认容量
yarn.resourcemanager.scheduler.client.thread-countResourceManager处理调度器请求的线程数量，默认50
yarn.nodemanager.resource.detect-hardware-capabilities是否让yarn自己检测硬件进行配置，默认false
yarn.nodemanager.resource.count-logical-processors-as-cores是否将虚拟核数当作CPU核数，默认false
yarn.nodemanager.resource.pcores-vcores-multiplier虚拟核数和物理核数乘数，例如：4核8线程，
该参数就应设为2，默认1.0
yarn.nodemanager.resource.memory-mbNodeManager使用内存，默认8G
yarn.nodemanager.resource.cpu-vcoresNodeManager使用CPU核数，默认8个
yarn.nodemanager.pmem-check-enabled是否开启物理内存检查限制container，默认打开
yarn.nodemanager.vmem-check-enabled是否开启虚拟内存检查限制container，默认打开
yarn.nodemanager.vmem-pmem-ratio虚拟内存物理内存比例，默认2.1
yarn.scheduler.minimum-allocation-mb容器最最小内存，默认1G
yarn.scheduler.maximum-allocation-mb容器最最大内存，默认8G
yarn.scheduler.minimum-allocation-vcores容器最小CPU核数，默认1个
yarn.scheduler.maximum-allocation-vcores容器最大CPU核数，默认4个




3、Yarn 案例实操

Yarn 生产环境核心参数配置案例

  • 需求：从 1G 数据中，统计每个单词出现次数。服务器 3 台，每台配置 4G 内存，4 核 CPU，4 线程。

  • 需求分析

    • 1G / 128m = 8 个 MapTask；1 个 ReduceTask；1 个 mrAppMaster
    • 平均每个节点运行 10 个 / 3 台 ≈ 3 个任务（4 3 3）

  • 修改 yarn-site.xml 配置文件参数

        <!-- 选择调度器，默认容量 -->
    <property>
        <name>yarn.resourcemanager.scheduler.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
    </property>
    <!-- ResourceManager 处理调度器请求的线程数量,默认 50；如果提交的任务数大于 50，可以增加该值，但是不能超过 3 台 * 4 线程 = 12 线程（去除其他应用程序实际不能超过 8） -->
    <property>
        <name>yarn.resourcemanager.scheduler.client.thread-count</name>
        <value>8</value>
    </property>
    <!-- 是否让 yarn 自动检测硬件进行配置，默认是 false，如果该节点有很多其他应用程序，建议手动配置。如果该节点没有其他应用程序，可以采用自动 -->
    <property>
        <name>yarn.nodemanager.resource.detect-hardware-capabilities</name>
        <value>false</value>
    </property>
    <!-- 是否将虚拟核数当作 CPU 核数，默认是 false，采用物理 CPU 核数 -->
    <property>
        <name>yarn.nodemanager.resource.count-logical-processors-as-cores</name>
        <value>false</value>
    </property>
    <!-- 虚拟核数和物理核数乘数，默认是 1.0 -->
    <property>
        <name>yarn.nodemanager.resource.pcores-vcores-multiplier</name>
        <value>1.0</value>
    </property>
    <!-- NodeManager 使用内存数，默认 8G，修改为 4G 内存 -->
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
    </property>
    <!-- nodemanager 的 CPU 核数，不按照硬件环境自动设定时默认是 8 个，修改为 4 个 -->
    <property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>4</value>
    </property>
    <!-- 容器最小内存，默认 1G -->
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>1024</value>
    </property>
    <!-- 容器最大内存，默认 8G，修改为 2G -->
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>2048</value>
    </property>
    <!-- 容器最小 CPU 核数，默认 1 个 -->
    <property>
        <name>yarn.scheduler.minimum-allocation-vcores</name>
        <value>1</value>
    </property>
    <!-- 容器最大 CPU 核数，默认 4 个，修改为 2 个 -->
    <property>
        <name>yarn.scheduler.maximum-allocation-vcores</name>
        <value>2</value>
    </property>
    <!-- 虚拟内存检查，默认打开，修改为关闭 -->
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>
    <!-- 虚拟内存和物理内存设置比例,默认 2.1 -->
    <property>
        <name>yarn.nodemanager.vmem-pmem-ratio</name>
        <value>2.1</value>
    </property>




容量调度器多队列提交案例

  • 需求：default队列占总内存的40%，最大资源占总资源60%，hive队列占总内存的60%，最大资源占总资源 80%

  • 修改配置文件(capacity-scheduler.xml)

        <!-- 指定多队列，增加 hive 队列 -->
    <property>
        <name>yarn.scheduler.capacity.root.queues</name>
        <value>default,hive</value>
    </property>
    <!-- 降低 default 队列资源额定容量为 40%，默认 100% -->
    <property>
        <name>yarn.scheduler.capacity.root.default.capacity</name>
        <value>40</value>
    </property>
    <!-- 降低 default 队列资源最大容量为 60%，默认 100% -->
    <property>
        <name>yarn.scheduler.capacity.root.default.maximum-capacity</name>
        <value>60</value>
    </property>

  • 为新加队列添加必要属性(capacity-scheduler.xml)

        <!-- 指定 hive 队列的资源额定容量 -->
    <property>
        <name>yarn.scheduler.capacity.root.hive.capacity</name>
        <value>60</value>
    </property>
    <!-- 用户最多可以使用队列多少资源，1 表示 -->
    <property>
        <name>yarn.scheduler.capacity.root.hive.user-limit-factor</name>
        <value>1</value>
    </property>
    <!-- 指定 hive 队列的资源最大容量 -->
    <property>
        <name>yarn.scheduler.capacity.root.hive.maximum-capacity</name>
        <value>80</value>
    </property>
    <!-- 启动 hive 队列 -->
    <property>
        <name>yarn.scheduler.capacity.root.hive.state</name>
        <value>RUNNING</value>
    </property>
    <!-- 哪些用户有权向队列提交作业 -->
    <property>
        <name>yarn.scheduler.capacity.root.hive.acl_submit_applications</name>
        <value>*</value>
    </property>
    <!-- 哪些用户有权操作队列，管理员权限（查看/杀死） -->
    <property>
        <name>yarn.scheduler.capacity.root.hive.acl_administer_queue</name>
        <value>*</value>
    </property>
    <!-- 哪些用户有权配置提交任务优先级 -->
    <property>
        <name>yarn.scheduler.capacity.root.hive.acl_application_max_priority</name>
        <value>*</value>
    </property>
    <!-- 如果 application 指定了超时时间，则提交到该队列的 application 能够指定的最大超时时间不能超过该值。-->
    <property>
        <name>yarn.scheduler.capacity.root.hive.maximum-application-lifetime</name>
        <value>-1</value>
    </property>
    <!-- 如果 application 没指定超时时间，则用 default-application-lifetime 作为默认值 -->
    <property>
        <name>yarn.scheduler.capacity.root.hive.default-application-lifetime</name>
        <value>-1</value>
    </property>



公平调度器案例

  • 需求：创建两个队列，分别是 test 和 root。期望实现以下效果：若用户提交任务时指定队列，则任务提交到指定队列运行；若未指定队列，test 用户提交的任务到 root.group.test 队列运行，root 提交的任务到 root.group.root 队列运行
  • 公平调度器的配置涉及到两个文件，
    • 一个是 yarn-site.xml，另一个是公平调度器队列分配文件 fair-scheduler.xml（文件名可自定义）。
    • 配置文件参考资料：
      • https://hadoop.apache.org/docs/r3.1.3/hadoop-yarn/hadoop-yarn-site/FairScheduler.html
    • 任务队列放置规则参考资料：
      • https://blog.cloudera.com/untangling-apache-hadoop-yarn-part-4-fair-scheduler-queue-basics/

修改 yarn-site.xml 文件

    <!-- 配置使用公平调度器 -->
    <property>
        <name>yarn.resourcemanager.scheduler.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
    </property>
    <!-- 指明公平调度器队列分配配置文件 -->
    <property>
        <name>yarn.scheduler.fair.allocation.file</name>
        <value>/opt/software/hadoop/hadoop-3.1.4/etc/hadoop/fair-scheduler.xml</value>
    </property>
    <!-- 禁止队列间资源抢占 -->
    <property>
        <name>yarn.scheduler.fair.preemption</name>
        <value>false</value>
    </property>

**配置 fair-scheduler.xml **

<?xml version="1.0"?>
<allocations>
    <!-- 单个队列中 Application Master 占用资源的最大比例,取值 0-1 ，企业一般配置 0.1 -->
    <queueMaxAMShareDefault>0.5</queueMaxAMShareDefault>
    <!-- 单个队列最大资源的默认值 test atguigu default -->
    <queueMaxResourcesDefault>4096mb,4vcores</queueMaxResourcesDefault>
    <!-- 增加一个队列 test (队列名字自定义) -->
    <queue name="test">
        <!-- 队列最小资源 -->
        <minResources>2048mb,2vcores</minResources>
        <!-- 队列最大资源 -->
        <maxResources>4096mb,4vcores</maxResources>
        <!-- 队列中最多同时运行的应用数，默认 50，根据线程数配置 -->
        <maxRunningApps>4</maxRunningApps>
        <!-- 队列中 Application Master 占用资源的最大比例 -->
        <maxAMShare>0.5</maxAMShare>
        <!-- 该队列资源权重,默认值为 1.0 -->
        <weight>1.0</weight>
        <!-- 队列内部的资源分配策略 -->
        <schedulingPolicy>fair</schedulingPolicy>
    </queue>
    <!-- 增加一个队列 test2 (队列名字自定义)-->
    <queue name="test2" type="parent">
        <!-- 队列最小资源 -->
        <minResources>2048mb,2vcores</minResources>
        <!-- 队列最大资源 -->
        <maxResources>4096mb,4vcores</maxResources>
        <!-- 队列中最多同时运行的应用数，默认 50，根据线程数配置 -->
        <maxRunningApps>4</maxRunningApps>
        <!-- 队列中 Application Master 占用资源的最大比例 -->
        <maxAMShare>0.5</maxAMShare>
        <!-- 该队列资源权重,默认值为 1.0 -->
        <weight>1.0</weight>
        <!-- 队列内部的资源分配策略 -->
        <schedulingPolicy>fair</schedulingPolicy>
    </queue>
    <!-- 任务队列分配策略,可配置多层规则,从第一个规则开始匹配,直到匹配成功 -->
    <queuePlacementPolicy>
        <!-- 提交任务时指定队列,如未指定提交队列,则继续匹配下一个规则; false 表示：如果指定队列不存在,不允许自动创建-->
        <rule name="specified" create="false"/>
        <!-- 提交到 root.group.username 队列,若 root.group 不存在,不允许自动创建；若root.group.user 不存在,允许自动创建 -->
        <rule name="nestedUserQueue" create="true">
            <rule name="primaryGroup" create="false"/>
		</rule>
        <!-- 最后一个规则必须为 reject 或者 default。Reject 表示拒绝创建提交失败，default 表示把任务提交到 default 队列 -->
        <rule name="reject" />
    </queuePlacementPolicy>
</allocations>
code@fzk
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
yarn的全部使用方法集结教程
New前端工厂的博客
03-04 1万+
1.Yarn简介 Yarn 是 Facebook, Google, Exponent 和 Tilde 开发的一款新的 JavaScript 包管理工具。就像我们可以从官方文档了解那样，它的目的是解决这些团队使用 npm 面临的少数问题. 2.下载使用 如果你是前端的开发者 那你就直接 npm install -g yarn 如果你是其它用户参考安装包安装，但是前提是你的电脑安装了nodejs 官方安装包下载地址 3.基本用法 Yarn的常用命令： 1、安装ya...
yarn application查询信息命令
weixin_43946446的博客
05-21 2225
yarn application 1、-list 列出所有 application 示例：yarn application -list 2、-appStates 跟 -list 一起使用，用来筛选不同状态的 application，多个用","分隔； 状态包含有：ALL,NEW,NEW_SAVING,SUBMITTED,ACCEPTED,RUNNING,FINISHED,FAILED,KILLED 示例：yarn application -list -appStates R
yarn保姆级安装和使用
最新发布
weixin_74268571的博客
06-08 1867
yarn的详细介绍和安装，yarn的常用命令和常用配置项详细说明，以及npm和yarn的区别
2021-11-04
weixin_43816721的博客
11-04 307
yarn application status一些知识分析 一个菜鸡大数据开发者 本人最近也是突然研究到yarn application这一块，突然对这个application执行过程比较感兴趣，因此通过查阅资料、论坛等方式了解了一些知识分享一下。 我们在hive些sql进行查询的时候，都会生成一个application ID， 关于这些信息，做一个简单的描述： Application-Id : application_1635832725447_0431 **#也就是你生成的作业ID** A
yarn application常用命令及显示示例
热门推荐
初心江湖路的博客
08-02 1万+
yarn application 1、-list 列出所有 application 信息 示例：yarn application -list 2、-appStates 跟 -list 一起使用，用来筛选不同状态的 application，多个用",“分隔； 所有状态：ALL,NEW,NEW_SAVING,SUBMITTED,ACCEPTED,RUNNING,FINIS...
【大数据】yarn 任务中的几种状态变化详细过程
匠人精神，持之以恒！
05-08 1231
在YARN中，应用程序和Container的状态变化会影响任务的执行和资源分配。
Yarn的安装与使用详细介绍
12-23
在官方介绍里有这么一句话： Yarn is a package manager for your code. It allows you to use and share code with other developers from around the world....在Mac上安装比较方便，使用初始化脚本即可 c
yarn的使用与升级Node.js的方法详解
10-19
本文详细介绍了yarn的使用，包括安装、初始化项目、添加和安装依赖、设置镜像以及使用yarn升级Node.js的方法。对于Node.js开发者来说，了解和掌握yarn的使用可以提高工作效率并确保项目依赖的一致性。在实际开发中，...
yarn包管理工具的使用
11-07
下面是关于yarn包管理工具的使用详细介绍。 安装yarn yarn不是node的默认包管理工具，但可以使用npm安装yarn。使用以下命令安装yarn： ``` npm install yarn -g ``` 配置淘宝镜像 yarn提供了镜像功能，可以使用...
YARN框架代码详细分析
07-06
详细的描述了yarn的框架，对yarn的实现代码进行了详细的分析
hadoop使用Yarn进行资源队列划分管理
迷默的博客
11-08 4079
      最近在做一个使用sqoop抽取数据最终存进hawq里面的一个项目，然后在做项目的过程，因为经验等一系列的问题，碰到了不少坑，现在将我最近碰到的一个坑写一下，现象大致是这样的，数据在通过sqoop跑量时，会出现跟hawq哄抢资源的情况，也就是我通过yarn application -list 命令，我能明显看到hawq的一个进程一直在占用着资源，没法释放出来给sqoop使用 就是图...
yarn基本使用
weixin_46369590的博客
01-28 489
速度超快: Yarn 缓存了每个下载过的包，所以再次使用时无需重复下载。同时利用并行下载以最大化资源利用率，因此安装速度更快。1.package.json :文件里记录项目的描述信息：项目作者、项目描述、项目依赖哪些包、插件配置信息等。2.yarn-lock:将这个范围精确到具体版本。主要是为了解决在各个环境中得到确定的node_modules。在执行代码之前，Yarn 会通过算法校验每个安装包的完整性。3.node_modules:包的具体文件。一：使用yarn之前先全局安装yarn。
yarn安装和基本使用
m0_61961937的博客
10-14 7286
yarn安装和基本使用
Yarn 入门使用教程
qq_70225657的博客
04-21 541
Yarn 是一个快速、可靠、安全的 JavaScript 依赖管理工具，由 Facebook、Google、Exponent 和 Tilde 联合开发。它能够有效地管理项目的依赖关系，提高包的安装速度，并保证包的一致性。Yarn 使用了并行下载、离线缓存和版本锁定等技术，使得 JavaScript 包管理变得更加简单和高效。
大数据hadoop入门案例6–Yarn常用命令和参数配置
qq_42754919的博客
06-02 426
大数据hadoop入门案例6–Yarn常用命令 1.列出所有 Application yarn application -list 2. 根据 Application 状态过滤：（所有状态：ALL、NEW、 NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLED） yarn application -list -appStates ALL（状态） 3. Kill 掉 Application yarn application -kill a
Hadoop生态圈（三十五）- YARN常用命令操作详解
程序园@大Null
02-11 3833
yarn application查看任务，yarn logs查看日志，yarn applicationattempt查看尝试运行的任务，yarn container查看容器，yarn node查看节点状态，yarn rmadmin更新配置，yarn queue查看队列，yarn jar运行jar包，yarn classpath获取类路径，yarn proxyserver开启服务，yarn daemonlog设置日志级别，yarn rmadmin重载配置，timelineser服务，scmadmin服务
yarn任务信息的几种获取方式
hncscwc的博客
06-02 6664
在问题定位、日常巡检、特定开发任务中，都会涉及查看yarn任务的相关信息，包括applicaiton的ID、类型、名称、起始时间、app所包含的container、以及每个container的日志文件内容等信息。本文就来聊聊查询查看这些信息的几种方式。【通过RM的WEB查看】这个是最简单的方式，直接在浏览器中打开RM的web网页就可以查看所有的App信息以及对应的日志了。...
yarn 命令行
Jaemon
08-15 795
yarn 命令行
yarn的安装和使用
XYLH2015的博客
03-11 8561
一、yarn的简介：　　Yarn是facebook发布的一款取代npm的包管理工具。 二、yarn的特点： 速度超快。 Yarn 缓存了每个下载过的包，所以再次使用时无需重复下载。 同时利用并行下载以最大化资源利用率，因此安装速度更快。 超级安全。 在执行代码之前，Yarn 会通过算法校验每个安装包的完整性。 超级可靠。 使用详细、简洁的锁文件格式和明确的安装算法...
yarn log怎么使用
05-24
例如，要查看 Yarn 的详细信息日志，可以使用以下命令： ``` yarn log info ``` 注意，Yarn 的日志默认输出到控制台，如果需要将日志输出到文件中，可以使用 `yarn log level > log.txt` 的方式，将日志输出到名为...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值