大数据从入门到精通(超详细版)之Yarn的使用，安装与部署

已于 2023-09-05 21:33:10 修改
阅读量1.1k 收藏 4
点赞数 4
分类专栏： 大数据从入门到精通（超详细版） 文章标签： yarn linux 持续部署
于 2023-08-30 22:17:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tyuiop321/article/details/132591720
版权

前言

嗨，各位小伙伴，恭喜大家学习到这里，不知道关于大数据前面的知识遗忘程度怎么样了，又或者是对大数据后面的知识是否感兴趣，本文是《大数据从入门到精通（超详细版）》的一部分，小伙伴们如果对此感谢兴趣的话，推荐大家按照大数据学习路径开始学习哦。

以下就是完整的学习路径哦。

↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓

大数据从入门到精通文章体系！！！！！！！！！！！！！！

↑ ↑ ↑ ↑ ↑ ↑ ↑ ↑ ↑ ↑ ↑ ↑ ↑ ↑ ↑ ↑ ↑ ↑ ↑ ↑ ↑ ↑ ↑ ↑ ↑ ↑ ↑ ↑ ↑ ↑

推荐大家认真学习哦！！！

文章目录


在这里插入图片描述

Yarn是什么

Hadoop YARN（Yet Another Resource Negotiator）是 Hadoop 生态系统中的一个核心组件，用于集群资源的管理和任务调度。YARN 的目标是为大规模分布式计算提供统一的资源管理框架，使得 Hadoop 除了支持 MapReduce 之外，还能够运行其他计算模型。

YARN 的主要功能包括：

  1. 资源调度：YARN 管理着集群中的各种资源（如 CPU、内存等），根据不同应用的需求，动态地分配和调度这些资源。
  2. 任务协调和调度：YARN 提供了一个全局的资源调度器，可以将不同类型的任务（如 MapReduce、Spark、Hive 等）提交给 ResourceManager 进行调度，并将任务分配给合适的节点上的 NodeManager 执行。
  3. 容错处理：YARN 具备自动容错和故障转移机制，可以在节点故障时重新分配任务以保证作业的顺利执行。
  4. 扩展性：YARN 的架构设计具有良好的扩展性，可以轻松地增加或减少集群的容量，适应不同规模和负载的需求。

YARN 的核心组件包括：

  • ResourceManager：整个集群的资源管理器，负责接收客户端提交的任务，并将任务分配给合适的节点上的 NodeManager 执行。
  • NodeManager：运行在集群节点上，负责管理该节点的资源，并执行来自 ResourceManager 的任务。
  • ApplicationMaster：每个应用程序的主管进程，负责和 ResourceManager 通信，申请资源和监控任务的执行情况。

通过 YARN，Hadoop 可以不仅仅局限于 MapReduce，还可以支持更多计算模型和框架，提供更加灵活和高效的大规模数据处理能力。

大致的资源分配流程

在这里插入图片描述

Yarn的架构

于HDFS架构类似 , HDFS有NameNode和DataNode

Yarn也有ResourceManager和NodeManager

  • ResourceManager : 整个集群的资源调度者 , 负责协调调度各个程序所需的资源
  • NodeManager : 单个服务器的资源调度者 , 负责调度单个服务器上的资源提供给应用程序使用
    在这里插入图片描述

Yarn容器

NodeManager会预先抢占这一部分的资源, 然后将这一部分的资源提供给程序使用 , 程序使用的资源也不能突破这部分的资源.

Web应用代理

概念

代理服务器, 即Web应用代理是YARN的一部分 , 默认情况下 , 它将作为资源管理器(RM)的一部分运行 , 但是可以配置为独立模式下运行.\

使用大理的原因是减少通过YARN进行基于网络的攻击可能性.

这是因为 , Yarn在运行时会提供一个WEB UI站点 , 可以让用户在浏览器内查看Yarn的运行信息.

对外提供WEB站点会有安全性问题 , 而代理服务器的功能就是最大限度的保障对WEB UI的访问安全性.

  • 警告用户正在访问一个不受信任的站点
  • 剥离用户访问的Cookie

独立部署的步骤

  1. 在yarn-site.xml中配置yarn.web-proxy.address参数即可

    在这里插入图片描述

  2. 通过启动命令启动 : $HADOOP_YARN_HOME/sbin/yarn-daemon.sh start proxyserver

Yarn的历史服务器

JobHistoryServer :

记录历史运行的程序的信息以及产生的日志并提供WEB UI站点供用户使用浏览器查看。

在这里插入图片描述

JobHistoryServer历史服务器功能：

  • 提供WEB UI站点，供用户在浏览器上查看程序日志
  • 可以保留历史数据，随时查看历史运行程序信息

JobHistoryServer需要配置：

  • 开启日志聚合，即从容器中抓取日志到HDFS集中存储

在这里插入图片描述

  • 配置历史服务器端口和主机

    在这里插入图片描述

Yarn的部署

部署总体说明

组件配置文件启动进程备注
Hadoop HDFS需修改需启动NameNode作为主节点DataNode作为从节点SecondaryNameNode主节点辅助分布式文件系统
Hadoop YARN需修改需启动ResourceManager作为集群资源管理者NodeManager作为单机资源管理者ProxyServer代理服务器提供安全性JobHistoryServer记录历史信息和日志分布式资源调度
Hadoop MapReduce需修改无需启动任何进程MapReduce程序运行在YARN容器内分布式数据计算

集群规划

在这里插入图片描述

配置过程

mapreduce的配置

以下配置都在$HADOOP_HOME/etc/hadoop的文件夹当中配置.

配置mapred-env.sh文件

#JDK路径
export JAVA_HOME=/export/server/jdk
#设置JobHistoryServer的进程内存为1G
export HADOOP_JOB_HISTORYSERVER_HEAPSIZE=1000
#设置日志级别为INFO
export HADOOP_MAPRED_ROOT_LOGGER=INFO,RFA

在这里插入图片描述

配置mapred-site.xml文件

<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
	<description>MapReduce的运行框架设置为YARN</description>
</property>

<property>
    <name>mapreduce.jobhistory.address</name>
    <value>node:10020</value>
    <description>历史服务器通讯端口为node:10020</description>
</property>

<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>node:19888</value>
    <description>历史服务器web端口为node的19888</description>
</property>
<property>
    <name>mapreduce.jobhistory.intermediate-done-dir</name>
    <value>/data/mr-history/tmp </value>
    <description>历史信息在HDFS的记录临时路径</description></property>
<property>
	<name>mapreduce.jobhistorydone-dir</name>
    <value>/data/mr-history/done</value>
    <description>历史信息在HDFS的记录路径</description>
</property>
<property>
    <name>yarn.app.mapreduce.am.env</name>
    <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
    <description>MapReduce HOME 设置为HADOOP_HOME</description>
</property>
<property>
    <name>mapreduce.map.env</name>
    <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
    <description>MapReduce HOME 设置为HADOOP_HOME</description>
</property>
<property>
    <name>mapreduce.reduce.env</name>
    <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
    <description>MapReduce HOME 设置为HADOOP_HOME</description>
</property>

Yarn的配置

配置yarn-env.sh

#设置JDK路径的环境变量
export JAVA_HOME=/export/server/jdk
#设置HADOOP_HOME的环境变量
export HADOOP_HOME=/export/server/hadoop
#设置配置文件路径的环境变量
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
#设置日志文件路径的环境变量
export HADOOP_LOG_DIR=$HADOOP_HOME/logs

配置yarn-site.xml文件

<configuration>

<!-- Site specific YARN configuration properties -->
<property>
    <name>yarn.log.server.url</name>
    <value>http://node:19888/jobhistory/logs</value>
    <description>历史服务器路径</description>
</property>

  <property>
    <name>yarn.web-proxy.address</name>
    <value>node:8089</value>
    <description>代理服务器主机和端口</description>
  </property>

  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
    <description>开始日志聚合</description>
  </property>

  <property>
    <name>yarn.nodemanager.remote-app-log-dir</name>
    <value>/tmp/logs</value>
    <description>程序日志HDFS的存储路径</description>
  </property>


<!-- Site specific YARN configuration properties -->
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>node</value>
    <description>ResoucesManager的所在节点</description>
  </property>

  <property>
    <name>yarn.resourcemanager.scheduler.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
    <description>选择公平调度器</description>
  </property>

  <property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>/data/nm-local</value>
    <description>NodeManager中间数据本地存储路径</description>
  </property>

  <property>
    <name>yarn.nodemanager.log-dirs</name>
    <value>/data/nm-log</value>
    <description>NodeManager数据日志本地存储路径</description>
  </property>
    
  <property>
    <name>yarn.nodemanager.log.retain-seconds</name>
    <value>10800</value>
    <description>Default time (in seconds) to retain log files on the NodeManager Only applicable if log-aggregation is disabled.</description>
  </property>

  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    <description>为Mapreduce程序开启Shuffle服务</description>
  </property>
</configuration>

把这些配置文件分发到其他节点的服务器

 scp mapred-env.sh mapred-site.xml yarn-env.sh yarn-site.xml node1:`pwd`/
 scp mapred-env.sh mapred-site.xml yarn-env.sh yarn-site.xml node2:`pwd`/

集群的启动命令

一键启动YARN集群： $HADOOP_HOME/sbin/start-yarn.sh

  • 会基于yarn-site.xml中配置的yarn.resourcemanager.hostname来决定在哪台机器上启动resourcemanager
  • 会基于workers文件配置的主机启动NodeManager
  • 代理服务器也会连带启动
  • 在这里插入图片描述

一键停止YARN集群： $HADOOP_HOME/sbin/stop-yarn.sh

在当前机器，单独启动或停止进程 , 于hdfs类似

  • Hdfs :
hdfs --daemon start | stop namenode | datanode | secondarynamenode

Yarn : 
$HADOOP_HOME/bin/yarn --daemon start | stop resourcemanager | nodemanager|proxyserver

  • start和stop决定启动和停止

  • 可控制resourcemanager、nodemanager、proxyserver三种进程

历史服务器启动和停止

  • $HADOOP_HOME/bin/mapred --daemon start|stop historyserver

  • 在这里插入图片描述

MapReduce的在Yarn中的执行

Yarn可以执行的程序

  • MapReduce程序(本文所讲)
  • Spark程序
  • Flink程序

wordCount程序实例

单词计数实例程序很简单 :

  • 给定数据输入的路径(HDFS) , 给定输出的路径(HDFS)
  • 将输入路径内的数据的单词进行计数 , 将结果写出到输出路径

  1. 准备一份文件, 输入单词

  2. 将文件上传到HDFS当中

  3. 执行如下命令，提交示例MapReduce程序WordCount到YARN中执行

    hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar wordcount hdfs://node:8020/input/wordcount/ hdfs://node:8020/output/wc1

径(HDFS)

  • 将输入路径内的数据的单词进行计数 , 将结果写出到输出路径

  1. 准备一份文件, 输入单词

  2. 将文件上传到HDFS当中

  3. 执行如下命令，提交示例MapReduce程序WordCount到YARN中执行

    hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar wordcount hdfs://node:8020/input/wordcount/ hdfs://node:8020/output/wc1
木 木 水.
关注
  • 4
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
yarn的安装和使用
XYLH2015的博客
03-11 8617
一、yarn的简介：　　Yarn是facebook发布的一款取代npm的包管理工具。 二、yarn的特点： 速度超快。 Yarn 缓存了每个下载过的包，所以再次使用时无需重复下载。 同时利用并行下载以最大化资源利用率，因此安装速度更快。 超级安全。 在执行代码之前，Yarn 会通过算法校验每个安装包的完整性。 超级可靠。 使用详细、简洁的锁文件格式和明确的安装算法...
yarn的安装及配置
jieshdad的博客
07-07 1万+
编辑用户变量里的Path，将相应npm的路径（“C:\Users\用户名\AppData\Roaming\npm”）改为：“node_global的文件路径”这是 Node.js 模块缓存目录，用于存储通过 npm 或 Yarn 安装的模块的缓存文件。当你安装 Node.js 模块时，这些模块会首先被下载到。新建一个变量名为 “NODE_PATH”， 变量值为“node_modules\的目录”用于全局安装的 Node.js 模块的默认目录。标志安装 Node.js 模块时，这些模块将被安装到。
yarn的安装和使用（极其详细）
热门推荐
jiaoqi6132的博客
04-14 4万+
Yarn是facebook发布的一款取代npm的包管理工具。
yarn保姆级安装和使用
最新发布
weixin_74268571的博客
06-08 1932
yarn的详细介绍和安装，yarn的常用命令和常用配置项详细说明，以及npm和yarn的区别
nodejs、npm、cnpm、yarn安装及环境配置
LoveQHM的博客
04-28 1万+
nodejs、npm、cnpm、yarn的安装与配置
【Hadoop】yarn-site.xml配置文件详解
康师傅没有眼泪
10-16 1万+
<-- 允许跨域访问的来源，如果有多个，用逗号(,)分隔 --> <property> <name>hadoop.http.cross-origin.allowed-origins</name> <value>*</value> </property><-- 与 DNS 侦听器应绑定到的网络接口关联的地址。 --> ...
大数据课件从入门到精通.docx
03-11
"大数据课件从入门到精通" 大数据课件从入门到精通是指从大数据的基本概念到深入了解大数据技术的整个学习过程。以下是该课件的详细知识点： 一、什么是大数据？ 大数据是指无法在一定时间内获取、存储、管理和...
学习笔记(01):Hadoop大数据从入门到精通-Hadoop的介绍及基本概念
01-20
在进入大数据领域时，...通过HDFS、MapReduce和YARN的组合，Hadoop能够有效地支持大数据的生命周期，从数据的获取、存储到分析和挖掘。对于想要深入理解和掌握大数据技术的人来说，学习Hadoop是至关重要的第一步。
大数据spark3.0入门到精通教程[视频课程].txt打包整理.zip
03-06
《大数据Spark 3.0入门到精通教程》是一门针对大数据处理技术的全面学习课程，主要聚焦于Apache Spark 3.0这一强大的分布式计算框架。本教程通过视频教学的方式，帮助初学者逐步掌握Spark的核心概念、功能以及在实际...
大数据开发入门指南：从概念到实践.zip
05-18
大数据开发入门指南旨在帮助初学者理解并掌握大数据技术的基础知识，从理论概念到实际操作，全方位解析大数据领域的核心要素。本指南将涵盖以下几个主要方面： 一、大数据基础概念 大数据是指无法在一定时间范围内...
大数据精通组件——Ambari安装全网最详细文档-公司大数据集群部署方案
08-09
在这个详细的Ambari安装文档中，我们将深入理解如何在公司环境中设置大数据集群，首先从操作系统级别的配置开始。 1. **用户与权限管理** - 在Linux环境下，为了安全起见，我们通常不使用root用户进行日常操作。...
YARN相关配置总结
10-24
最新整理版文档，帮助你在yarn配置上成功！
实验4 - YARN 的安装部署和管理
weixin_43657927的博客
01-10 298
haoop
yarn入门（一篇就够了）
阿甘兄
07-07 2050
是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。yarn主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成，如下图： ResourceManager（RM）主要的作用如下：NodeManager（NM）主要作用如下：ApplicationMaster（AM）作用如下：Container是yarn中的资源抽象，它封装了某个节点上的
hadoop集群部署(yarn)
沉潜飞动
03-31 6418
伴随着各大互联网公司开源自己的大数据框架，大数据处理领域的框架已经比较完善。到现在所谓大数据的框架已经用过habase（后来换成了elasticsearch）、zookeeper、kafka、storm，根据项目计划，接下来还要使用spark。虽然在众多框架中仅仅几个，但是也是已经涉及多个方面：数据存储、分布式协调、消息、实时计算等。没有找到任何一个框架能够完美解决所有问题，也就应了那句话，开发领域根本就没有银色子弹
大数据开发之Yarn介绍
只是甲的博客
12-11 1406
文章目录一.Yarn简介二.Yarn基本服务组件三.Yarn工作的过程参考 一.Yarn简介 在古老的 Hadoop1.0 中，MapReduce 的 JobTracker 负责了太多的工作，包括资源调度，管理众多的 TaskTracker 等工作。这自然是不合理的，于是 Hadoop 在 1.0 到 2.0 的升级过程中，便将 JobTracker 的资源调度工作独立了出来，而这一改动，直接让 Hadoop 成为大数据中最稳固的那一块基石。，而这个独立出来的资源管理框架，就是 Yarn 。 在详细介绍 Y
yarn配置文件
weixin_38384296的博客
05-04 5586
yarn现在有两个比较大的版本：yarn1.0和yarn2.0。yarn1.0作为npm的替代方案，能够兼容使用.npmrc配置文件，并且.npmrc的优先级比.yarnrc的优先级更高。但在yarn2.0中，yarn不再支持.npmrc配置文件。 一、yarn1.0和npm yarn1.0和npm，除了以下几点，基本上是一致的（.npmrc配置文件）： 配置文件：yarn的配置文件名为.yarnrc，和npm一样，用户配置文件在~/.yarnrc，项目配置文件在项目根目录下； yarn设置缓存目录的ke
yarn安装和基本使用
m0_61961937的博客
10-14 7309
yarn安装和基本使用
详解 YARN的内存和CPU配置
qq_43688472的博客
06-18 5666
一：简单介绍 Hadoop YARN同时支持内存和CPU两种资源的调度，本文介绍如何配置YARN对内存和CPU的使用。 YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有一定的内存以及CPU资源。 在YARN集群中，平衡内存、CPU、磁盘的资源的很重要的，根...
yarn的安装与使用
08-24
你可以按照以下步骤安装和使用Yarn： 1. 首先，确保你的系统已经安装了Node.js。你可以在终端中输入以下命令来检查是否安装了Node.js： ``` node -v ``` 如果已安装，将显示Node.js的版本号。 2. 安装Yarn。在终端中运行以下命令来安装Yarn： ``` npm install -g yarn ``` 这将使用npm全局安装Yarn。 3. 验证Yarn是否成功安装。在终端中输入以下命令： ``` yarn --version ``` 如果成功安装，将显示Yarn的版本号。 4. 创建一个新的项目。进入你想要创建项目的目录，并在终端中输入以下命令： ``` yarn init ``` 根据提示回答一些问题，如项目名称、版本号、描述等。这将生成一个`package.json`文件。 5. 添加依赖项。你可以使用以下命令来添加依赖项： ``` yarn add [package-name] ``` 例如，要添加React作为依赖项，可以运行： ``` yarn add react ``` 这将在`package.json`文件中添加React作为依赖项，并将其安装到`node_modules`目录中。 6. 使用Yarn执行脚本。在`package.json`文件中，你可以定义一些脚本，如构建、测试等。你可以使用以下命令来执行这些脚本： ``` yarn run [script-name] ``` 例如，要运行`start`脚本，可以运行： ``` yarn run start ``` 这些是基本的Yarn安装和使用步骤。你可以查阅Yarn的文档以获取更多详细信息和用法示例。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

木 木 水.

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值