大数据求索(2):yarn的配置与使用

最新推荐文章于 2024-07-11 22:23:39 发布
最新推荐文章于 2024-07-11 22:23:39 发布
阅读量1.5k 收藏 1
点赞数 1
分类专栏： A大数据开发 大数据求索 文章标签： yarn hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wen_fei/article/details/82928225
版权
本文详细介绍了YARN的架构，包括ResourceManager、NodeManager、ApplicationMaster和Container的角色。接着阐述了YARN的配置步骤，主要涉及mapred-site.xml和yarn-site.xml的修改。启动YARN后，通过jps命令或浏览器界面可以验证其运行状态。YARN的使用包括通过图形化界面管理集群和提交任务到YARN运行，以MapReduce任务为例展示了任务提交过程，并提出了可能出现的问题及解决办法。
摘要由CSDN通过智能技术生成

yarn的架构

1） Resourcemanager: RM

  • 整个集群同一时间提供服务的RM只有一个，负责集群资源的统一管理和调度
  • 处理来自客户端的请求，比如提交一个job，杀死一个job等
  • 监控NM，一旦某个NM挂了，那么该NM上运行的任务需要告诉AM来如何进行调度
  1. NodeManager：NM
  • 整个集群中可以有多个，负责结点自己本身的资源管理和使用
  • 定时向RM汇报结点自身的资源使用情况
  • 接收并处理来自RM的各种命令，然后启动Container
  • 处理来自AM的命令

3）ApplicationMaster：AM

  • 每个应用程序对应一个：MR、Spark等，负责应用程序的管理
  • 为应用程序向RM申请资源（core、memory等），分配给内部task
  • 需要与NM通信：start/stop task，task是运行在container里面，AM也是运行在container里面

4）Container：

​ 封装了CPU、Memory等资源的一个容器，是一个任务运行环境的抽象

5）Client

​ 提交作业、查询作业进度、杀死作业等

yarn的配置

在搭建好HDFS以后，yarn的配置就非常简单了，这里还是搭建的伪分布式，只需要修改两个配置文件即可

修改mapred-site.xml

最低0.47元/天 解锁文章
腾云丶
关注
专栏目录
【Yarn】hadoop的yarn资源队列
九师兄
09-12 2万+
Capacity Schedule调度器以队列为单位划分资源。简单通俗点来说，就是一个个队列有独立的资源，队列的结构和资源是可以进行配置的，如下图：default队列占30%资源，analyst和dev分别占40%和30%资源；类似的，analyst和dev各有两个子队列，子队列在父队列的基础上再分配资源。队列以分层方式组织资源,设计了多层级别的资源限制条件以更好的让多用户共享一个Hadoop集群，比如队列资源限制、用户资源限制、用户应用程序数目限制。
yarn的安装与配置（秒懂yarn用法）
百赢出品，必属精品
04-21 9731
Yarn 是一个快速、可靠、安全的 JavaScript 包管理工具，旨在提高开发者在构建 JavaScript 项目时的效率和可靠性。它由 Facebook、Google、Exponent 和 Tilde 共同开发，目的是解决 npm 的一些问题并提供更好的性能和稳定性。Yarn 通过并行安装依赖项和离线缓存机制，能够显著加快包的安装速度，提高开发效率。
Yarn 内存分配管理机制及相关参数配置
热门推荐
Heaven Wang 的专栏
05-04 4万+
理解Yarn的内存管理与分配机制，对于我们搭建、部署集群，开发维护应用都是尤为重要的，对于这方面我做了一些调研供大家参考。 一、相关配置情况 关于Yarn内存分配与管理，主要涉及到了ResourceManage、ApplicationMatser、NodeManager这几个概念，相关的优化也要紧紧围绕着这几方面来开展。这里还有一个Container的概念，现在可以先把它理解为运行map/re
秒懂Yarn：从安装到配置的全流程详解
洛秋的博客
07-11 7823
Yarn是一个由Facebook、Google、Exponent 和 Tilde 共同开发的新的包管理工具。它与npm相似，用于管理项目的依赖，但它在性能、安全性和一致性方面做了许多改进。我们详细了解了Yarn的安装、配置及其基本用法。Yarn作为一种新的包管理工具，凭借其快速、安全和一致性的优势，已经成为开发者管理JavaScript依赖包的首选工具之一。希望通过本文的介绍，大家能够快速上手并熟练使用Yarn，提高项目开发和管理的效率。
YARN相关配置总结
10-24
最新整理版文档，帮助你在yarn配置上成功！
Yarn——常用配置、常见配置案例
xdx_dili的博客
08-25 2062
Yarn——常用配置、常见配置案例
大数据平台构建：YARN中运行Mapreduce程序.pptx
06-21
1. **作业提交**：MapReduce 2.x（即Hadoop 2.x及以后版本）的作业提交使用与MapReduce 1.x相同的用户API。用户编写完成MapReduce程序后，通过Hadoop的客户端提交作业。 2. **获取作业ID**：作业客户端向资源管理器...
大数据平台构建：YARN的重要概念.pptx
06-21
2. **NodeManager**：每个节点上运行，管理本节点上的应用程序和工作流，与ResourceManager通信更新资源使用情况。 3. **ApplicationMaster**：每个应用的生命周期管理者，负责向ResourceManager申请资源并监控task...
Hadoop大数据平台构建、YARN配置、启动与验证教学课件.pptx
06-20
任务四是分发YARN与MapReduce的配置文件到所有节点，通常会使用`rsync`或`scp`命令进行文件复制，确保所有节点的配置一致，以保证集群的协调性。 任务五是启动YARN集群，这通常涉及启动ResourceManager、...
大数据管理与监控：Ambari：YARN资源管理详解.docx
最新发布
09-02
大数据管理与监控：Ambari：YARN资源管理详解.docx
hadoop安装之保姆级教程（二）之YARN的配置
qq_52868045的博客
10-22 3381
我们在YARN上运⾏MapReduce的程序的时候，可以在控制台上看到任务的⽇志输出，以获取到任务的运⾏状态。同 时，YARN也会将⽇志写在本地的⽂件夹中，我们可以到⽂件夹中进⾏⽇志的查 看。但是这个⽂件夹中的内容，会随着YARN的重启⽽被删除掉。那么此时我们将如何查看⽇志？此时就需要开启Hadoop的历史⽇志服务了，Hadoop会将MapReduce的任务⽇志在HDFS也保留⼀份，我们可以通过 Hadoop的历史任务服务来查看到之前的历史⽇志！
YARN配置
W.J.Z
04-18 293
yarn配置
老猿说说专栏
11-10 183
下面配置的是两个队列default和etl，default队列分配20%的处理能力, etl队列分配80%的处理能力,用户dba只能向default队列提交作业，用户etl只能向etl队列提交作业，dba用户组只能向default队列提交任务： yarn.scheduler.capacity.maximum-am-resource-percent=0.2 --AM可以占用资源队列的最大百分比 ...
yarn的配置
qq_44767646的博客
12-07 2715
yarn的配置全局配置 全局配置 1、查看版本 yarn -v 2、查看配置 yarn config list 3、配置淘宝镜像 yarn config set registry https://registry.npm.taobao.org/ 4.yarn全局安装包 yarn global add [package-name] 2.配置全局包安装路径 yarn config set global-folder "路径" 3.配置全局缓存路径 yarn config set cache-fol
yarn的一些配置
liuzhenghui666666的博客
06-01 265
1. -m 用与配置他的模式: yarn-cluster适用于生产环境；而yarn-client适用于交互和调试 从深层次的含义讲，yarn-cluster和yarn-client模式的区别其实就是Application Master进程的区别，yarn-cluster模式下，driver运行在AM(Application Master)中，它负责向YARN申请资源，并监督作业的运行状况。当用户提交了作业之后，就可以关掉Client，作业会继续在YARN上运行。然而yarn-cluster模式不适合运行.
YARN安装配置
swing2008的专栏
11-26 3596
（一）YARN初步理解 yarn结构图如下： 1、YARN 　　下一代的MapReduce系统框架，也称为MRv2(MapReduce version 2), 它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度。 　　YARN的基本思想是将JobTracker的两个主要功能（资源管理和作业调度/监控）分离，主要方法是创建一个全局的ResourceManager（
yarn的安装及配置
jieshdad的博客
07-07 1万+
编辑用户变量里的Path，将相应npm的路径（“C:\Users\用户名\AppData\Roaming\npm”）改为：“node_global的文件路径”这是 Node.js 模块缓存目录，用于存储通过 npm 或 Yarn 安装的模块的缓存文件。当你安装 Node.js 模块时，这些模块会首先被下载到。新建一个变量名为 “NODE_PATH”， 变量值为“node_modules\的目录”用于全局安装的 Node.js 模块的默认目录。标志安装 Node.js 模块时，这些模块将被安装到。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值