YARN安装配置

(一)YARN初步理解yarn结构图如下:1、YARN  下一代的MapReduce系统框架,也称为MRv2(MapReduce version 2), 它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度。  YARN的基本思想是将JobTracker的两个主要功能(资源管理和作业调度/监控)分离,主要方法是创建一个全局的ResourceManager(
摘要由CSDN通过智能技术生成

(一)YARN初步理解

yarn结构图如下:

1、YARN

  下一代的MapReduce系统框架,也称为MRv2(MapReduce version 2), 它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度。

  YARN的基本思想是将JobTracker的两个主要功能(资源管理和作业调度/监控)分离,主要方法是创建一个全局的ResourceManager(RM)

  和若干个针对应用程序的ApplicationMaster(AM)。这里的应用程序是指传统的MapReduce作业或作业的DAG。

2、ResourceManager(RM)

  RM和与NM(NodeManager每个节点一个)共同组成整个数据计算框架,RM是系统中将资源分配给各个应用的最终决策者。

  RM有两个组件组成:

    调度器(Scheduler)

    应用管理器(ApplicationsManager,ASM)

  调度器根据容量、队列等限制条件(如每个队列分配一定的资源,最多执行一定数量的作业等),将系统中的资源分配给各个正在运行的应用程序。

  需要注意的是,该调度器是一个“纯调度器”,它不再从事任何与具体应用程序相关的工作,比如不负责监控或者跟踪应用的执行状态等,也不负责重新启动

  因应用执行失败或者硬件故障而产生的失败任务,这些均交由应用程序相关的ApplicationMaster完成。调度器仅根据各个应用程序的资源需求进行资源分配,

  而资源分配单位用一个抽象概念“资源容器”(Resource Container,简称Container)表示,Container是一个动态资源分配单位,它将内存、CPU、磁盘、网络等资源封装在一起,

  从而限定每个任务使用的资源量。此外,该调度器是一个可插拔的组件,用户可根据自己的需要设计新的调度器,YARN提供了多种直接可用的调度器,比如Fair Scheduler和Capacity Scheduler等。

3、NodeManager(NM)

  NM是每个节点上的资源和任务管理器,一方面,它会定时地向RM汇报本节点上的资源使用情况和各个Container的运行状态;另一方面,它接收并处理来自AM的Container启动/停止等各种请求。

4、

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Apache Spark是一个分布式计算框架,可以运行在Hadoop集群上。而YARN是Hadoop的资源管理器,可以提供资源给Spark来运行。 以下是spark-yarn安装配置的步骤: 1. 安装Hadoop集群 在安装Spark之前,您需要先安装Hadoop集群。请确保您的Hadoop集群正在运行,并且您可以使用hadoop命令行工具访问它。 2. 下载Spark 从Spark官方网站下载Spark二进制文件,并解压缩到您的目录中。您可以将Spark安装在任何地方,只要您的Hadoop集群可以访问它即可。 3. 配置Spark 在Spark的conf目录下,有一个spark-env.sh文件,您需要编辑它来配置Spark的环境变量。将以下内容添加到文件末尾: export HADOOP_CONF_DIR=/path/to/hadoop/conf 这将告诉Spark去哪里找到Hadoop的配置文件。 4. 配置YARN 在Spark的conf目录下,有一个spark-defaults.conf文件,您需要编辑它来配置Spark使用YARN。将以下内容添加到文件末尾: spark.master yarn spark.submit.deployMode client spark.executor.memory 2g spark.driver.memory 2g 这将告诉Spark使用YARN作为资源管理器,并设置内存大小。 5. 运行Spark应用程序 现在,您可以运行Spark应用程序了。使用以下命令: ./bin/spark-submit --class <main-class> --master yarn --deploy-mode client <application-jar> <application-arguments> 其中,<main-class>是您的主类,<application-jar>是您的应用程序jar文件,<application-arguments>是您的应用程序参数。 6. 监控应用程序 您可以在YARN的Web界面上监控您的应用程序。打开以下网址: http://<yarn-resource-manager>:8088/cluster 其中,<yarn-resource-manager>是您的YARN资源管理器的主机名。在Web界面上,您可以看到正在运行的应用程序的状态和日志。 这就是spark-yarn安装配置的步骤。祝您好运!
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值