2018年第24周-大数据的YARN

最新推荐文章于 2024-05-06 21:57:27 发布
最新推荐文章于 2024-05-06 21:57:27 发布
阅读量83 收藏
点赞数
文章标签： 大数据 运维 人工智能
原文链接：https://segmentfault.com/a/1190000015316437
版权
Hadoop可以说是一个大型的操作系统，HDFS就是其文件系统，那么YARN就是其计算系统。

YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器。在此之前是使用MapReduce 1.0
MapReduce 1.0和MapReduce 2.0（YARN）的区别：
MapReduce 1.0
后台进程有：
1.JobTracker
用于处理作业（用户提交代码）的后台程序
决定有哪些文件参与处理，然后切割task并分配结点，原则是就近运行
监控task，重启失败task
每个集群只有唯一一个JobTracker
2.TaskTracker
根datanode通过节点
管理各自节点上的task（由JobTracker分配）
每个节点只有一个TaskTracker，但一个TaskTracker可以启动多个JVM，用于并行执行map或reduce任务

MapReduce 2.0（YARN）

YARN分成两部分：集群资源管理和MapReduce
在YARN里，JobTracker被分为两个服务：
第一部分：
1.ResourceManager，一个长期运行的YARN服务，负责接受application和在集群上运行application。一个MapReduce作业（job）就是一个application。
2.JobHistoryServer，提供已完成的作业的信息。
3.Application Master，管理每个MapReduce作业，当作业完成Application Master则关闭。
4.NodeManger替代了TaskTracker，是一个YARN服务，部署在节点上，负责管理该节点的资源。还负责启动container（一个map任务或是reduce任务）

新的架构将JobTacker分为ResourceManage和ApplicationMaster。
ResourceManage可以跨application管理资源的利用。
ApplicationMaster负责管理作业（job）的执行。
这样的架构，打破了之前的瓶颈，让Hadoop机器可以扩展到比4000个节点海大。
这种体系结构还允许同时执行各种编程模型，如图形处理、迭代处理、机器学习和一般的集群计算(包括传统的MapReduce)。

YARN

架构

YARN的基本理念是将 资源管理 和 作业调度/监控 的功能拆分为多个守护进程。所以有了全局的ResourceManager(RM)和每个application的的ApplicationMaster(AM)。一个application是一个独立作业或则是DAG作业。

ResourceManager和NodeManager组成了数据计算框架（data-computation framework）。ResourceManager有最高权利可以仲裁所有application之间的资源。在这框架里，NodeManager相当于是一个agent，负责容器化、监控资源的使用（cpu, 内存, 磁盘,网络）并汇报给ResourceManager/Scheduler.

所以到现在，我们就有术语：

  • RM ResourceManager（资源管理器）
  • AM ApplicationMaster
  • NM NodeManager（节点管理器）
  • application（=job）
  • job（作业）

每个application的ApplicationMaster(AM)，实际上是一个特殊的框架类库，AM的任务就是与RM协商资源，并与NodeManager一起执行和监视task。

ResourceManager

ResourceManager有两部分组成：Schedule和ApplicationManager

Scheduler

Scheduler 负责分配资源给各个application，这些application都是要受同样的容量、队列等限制。
Scheduler是纯调度，不负责任何监视和跟踪application的状态。同样的，它也不会负责重启那些因为application失败或硬件崩溃导致失败的任务。Scheduler是根据application资源需求来执行调度功能；是根据资源Container（容器）这个抽象概念来进行调度资源，这Container对应着内存、CPU、磁盘和网络等。
Scheduler有个插件策略（pluggable policy），可以自己配置调度器来决定在队列之间、应用之间的集群资源的分配。现有调度器是CapacityScheduler和FairScheduler。

ApplicationsManager

ApplicationsManager负责接收job的提交，协调第一个容器来执行ApplicationMaster，而且提供ApplicationMaster的失败重启功能。每个application对应的ApplicationMaster负责与Scheduler来协商请求合适的资源，负责跟踪application的状态和监控进度。
hadoop-2.x的MapReduce维护的API兼容hadoop-1.x。这意味着所有MapReduce job可以不用修改，只需要重新编译，即可在YARN上执行。
YARN通过ReservationSystem支持资源保留（resource reservation） 功能，该ReservationSystem允许用户指定资源超时和时间限制（如deadline），来保留资源以确保重要的job能够可预测执行（predictable execution）。ReservationSystem跟踪资源超时，权限控制，并动态指示底层调度器来确保资源保留（resource reservation）功能的执行。

为了YARN能够扩展超过上千个节点，YARN提供Federation功能。Federation允许多个YARN集群自动匹配，让他们成为一个巨大的集群。这样就可以达到更大的扩展，允许多个独立的集群协作起来执行更大的作业。

ResourceManager高可用

RM负责跟踪集群的资源和调度application（如MapReduce作业）。在Hadoop2.4版本之前，ResourceManager在集群中只有一个，所以会有单点失败的可能。2.4版本后添加多一个ResourceManager，组成 Active/Standby ResourceManager来实现高可用。

高可用架构

ResourceManager高可用实现方式是Active/Standby架构。任何时候，只能有一个RM是active，剩余的RM是standby模式（时刻准备接替active的RM）。故障转移可以通过控制台（手动）或故障转移控制器（自动）。

手动故障转移

当自动故障转移功能没有启动时，可以在控制台指定一个RM是active。步骤如下：先将一个active的RM置为standby，然后将一个standby转为active。都是通过"yarn rmadmin"命令。
查看RM状态的命令

yarn rmadmin -getServiceState rm1
自动故障转移

基于ZooKeeper的ActiveStandbyElector来决定哪个RM称为active。当active的RM崩溃或者是没响应时，其他RM会自动被选择为active来接替故障的RM。注意，这里跟HDFS的高可用不一样，HDFS是单独运行ZKFC守护进程。而ActiveStandbyElector是嵌入在RM里的。

客户端、ApplicationMaster和NodeManager在RM故障转移的时候的处理

当有多个RM的时候，可以在客户端和NM的配置文件yarn-site.xml将所有的RM列出。客户端、ApplicationMaster（AM）和NodeManager（NM）会以 round-robin的形式去逐个访问RM，直至找到active的RM。当active崩溃时，客户端它们会继续 round-robin去找出active的“新”active的RM。这些逻辑都写在这个类里s org.apache.hadoop.yarn.client.ConfiguredRMFailoverProxyProvider。如果修改这逻辑可以实现该接口 org.apache.hadoop.yarn.client.RMFailoverProxyProvide，并将 yarn.client.failover-proxy-provider参数配置为该类的类名。

ResourceManager 的Web界面

standby的RM都会将所有的web请求重定向到active的RM（除了about的页面）。

Web Services

Web Services 也一样，会将所有的web请求重定向到active的RM。

ResourceManager的重启

ResourceManager是中央式的管理资源和调度application。所以重启ResourceManager时，需要保证整个YARN保持正常运作，且停机时对用户是不可见。
整体思路是：当RM关闭时，会将已提交的application的元数据（如ApplicationSubmissionContext）保存在插件化的state-store，也会保存application的最终完成状态（如failed, killed, finished），如果application是完成状态的，也会保存其分析信息。如果是在安全环境，会保存证书，如security keys和token等。
在RM启动时，RM会重建整个集群的运行状态，数据有从state-store获取之前关闭时的信息，然后RM会发送re-sync命令到所有的NodeManager和ApplicationMaster，RM的中心调度器会去跟踪所有容器的生命周期，applications的headroom和资源请求，队列资源使用情况。在NodeManager和ApplicationMaster收到re-sync，NM会返回容器状态，ApplicationMaster会返回application的调度情况，必要时还会重新请求资源（在请求资源的时候RM重启没收到的情况）。

ResourceManager的重启的配置

启动RM的重启配置：

<property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
</property>
     

state-store的配置

属性值
yarn.resourcemanager.store.classorg.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore org.apache.hadoop.yarn.server.resourcemanager.recovery.FileSystemRMStateStore（默认值） org.apache.hadoop.yarn.server.resourcemanager.recovery.LeveldbRMStateStore

org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore是基于ZooKeeper的state-store：虽然可以自由指定state-store，但如果要开启HA功能，就只能用ZooKeeper，这是因为基于ZooKeeper的state-store支持fencing机制来避免脑裂。
org.apache.hadoop.yarn.server.resourcemanager.recovery.FileSystemRMStateStore是基于文件系统的state-store：支持HDFS和本地文件系统，但fencing机制不支持。
org.apache.hadoop.yarn.server.resourcemanager.recovery.LeveldbRMStateStore是基于LevelDB的state-store：被认为是比上面两个还轻量级。LevelDB支持更好的原子操作，更少的IO，使用更少的文件，但fencing机制不支持。

这里只说基于ZooKeeper的state配置：

<property>
        <name>yarn.resourcemanager.store.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    </property>
     
    <!-- 配置zookeeper的地址 -->  
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>s1.jevoncode.com:2181,s2.jevoncode.com:2181,s3.jevoncode.com:2181</value>
        <description>For multiple zk services, separate them with comma</description>
    </property>
     

YARN部署

1.配置mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
 
<configuration>
    <property>
        <!--指定mapreduce运行在yarn上-->
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

2.配置yarn-site.xml

<?xml version="1.0"?>
 
<configuration>
 
     <!-- 开启YARN的HA --> 
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
     
  <!-- 指定两个resourcemanager的名称 --> 
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>
 
    <!-- 配置rm1，rm2的主机 --> 
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>s1.jevoncode.com</value>
    </property>
 
    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>s3.jevoncode.com</value>
    </property>
 
     
    <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>
     
    <!--执行rm恢复机制实现类-->
    <property>
        <name>yarn.resourcemanager.store.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    </property>
     
    <!-- 配置zookeeper的地址 -->  
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>s1.jevoncode.com:2181,s2.jevoncode.com:2181,s3.jevoncode.com:2181</value>
        <description>For multiple zk services, separate them with comma</description>
    </property>
      
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>yarn-ha</value>
    </property>
     
    <property> 
        <name>yarn.resourcemanager.hostname</name>
        <value>s1.jevoncode.com</value>
    </property>
 
</configuration>

3.配置slave

s4.jevoncode.com
s5.jevoncode.com
s6.jevoncode.com

4.在s1启动yarn

start-yarn.sh

5.在s3启动standby的resourcemanager

yarn-daemon.sh start resourcemanager

6.此时就能查看到ResourceManager页面

http://s1.jevoncode.com:8088
weixin_34311757
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Linux运维-运维课程MP4频-06-大数据之Hadoop部署-23yarn介绍.mp4
06-06
Linux运维-运维课程MP4频-06-大数据之Hadoop部署-23yarn介绍.mp4
YARN学习总结-第十五节-YARN-RM-HA
qq_20995587的博客
08-29 1220
YARN-RM-HA 在2.4之前，YARN存在单点故障，之后添加了高可用。 图片来自互联网，链接：http://hadoop.apache.org/docs/r3.1.1/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html RM-HA通过主备架构实现高可用。在任何时候只有一个为Active，一个或者多个Standby等待接管Activ...
2018年春招面试实战记录-大数据开发相关岗位
weixin_30292843的博客
05-08 621
目录 腾讯一面 阿里电话一面 一点资讯电话一面] 宜信-征信管理部 北京奇虎360-大数据中心 华为-勇敢星实习招聘-京津冀-北研所 今日头条 去哪儿网 岗位均是与大数据研发有关 1.腾讯一面 2.阿里电...
平台搭建---大数据框架---大数据组件的安装及部署
04-01 7212
zookeeper 分布式集群的安装与配置来源 Zookeeper 集群是分布式集群的协调者，也就是任意的分布式集群都能配置Zookeeper集群作为管理者、协调者，Zookeeper 集群在配置时一般采用的是奇数个节点配置的策略。
2022-02-09大数据学习日志——PySpark——Spark框架概述
tingbaobaoo的博客
02-09 1563
前言部分：知识回顾及课程目标 [前言1]-大数据技术框架 整个大数据技术框架学习，可以划分为4个阶段：离线分析、内存分析、实时存储和实时分析。 # 第1部分、离线分析（Batch Processing） 分布式协作服务框架Zookeeper 大数据基础框架Hadoop（HDFS、MapReduce和YARN） 大数据数仓框架Hive 大数据辅助框架：FLUME、SQOOP、Oozie和Hue # 实战项目：亿品新零售 # 第2部分、内存分析（In-Memory Processing）
大数据实战第二十八课 - CDH03
zhikanjiani的博客
10-23 494
第一章：CDH添加kafka服务 1.1 在集群中add service 第二章：Spark2部署 第一章：CDH添加Kafka服务 添加kafka服务的时候会跳出来一句话： Before adding this service， ensure that either the kafka parcel is activated or the kafka package is installe...
大数据运维题库2018年
mn525520的博客
06-26 4385
501.配置master Node的主机名为：master；slaver1 Node的主机名为：slaver1。将查询2个节点的主机名信息以文本形式提交到答题框。 [root@master ~]# hostname master [root@slave ~]# hostname slave 502.修改2个节点的hosts文件，配置IP地址与主机名之间的映射关系。将查询hosts文件的信息以文本形...
大数据技术之Hadoop-入门
sinat_29950703的博客
05-03 3035
Hadoop Distributed File System，简称HDFS，是一个Hadoop分布式文件系统。1）NameNode（老板）：负责数据存在什么位置，整个数据的存储情况。2）DataNode：负责数据具体存在哪，存的什么信息。3）2NN（秘书）：备份，辅助NameNode工作，防止NameNode出bug导致整个集群的瘫痪。Yet Another Resource Negotiator简称YARN ，另一种资源协调者，是Hadoop的资源管理器（主要管理CPU和内存两大组件。
2023年大数据面试通关文牒系列篇
AuZn的博客
06-20 411
区别：内部表数据由Hive自身管理，外部表数据由HDFS管理；内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse），外部表数据的存储位置由自己制定（如果没有LOCATION，Hive将在HDFS上的/user/hive/warehouse文件夹下以外部表的表名创建一个文件夹，并将属于这个表的数据存放在这里）；删除内部表会直接删除元数据（metadata）及存储数据；删除外部表仅仅会删除元数据，HDFS上的文件并不会被删除。
盘点2018年晋升为Apache TLP的大数据相关项目
Hadoop技术博文
01-02 592
去年，我整理了2017年成功晋升为Apache TLP的大数据相关项目进行了整理，具体可以参见《盘点2017年晋升为Apache TLP的大数据相关项目》。现在已经进入了...
Linux运维-运维课程MP4频-06-大数据之Hadoop部署-24yarn工作原理.mp4
06-06
Linux运维-运维课程MP4频-06-大数据之Hadoop部署-24yarn工作原理.mp4
Linux运维-运维课程MP4频-06-大数据之Hadoop部署-25yarn应用及测试.mp4
06-06
Linux运维-运维课程MP4频-06-大数据之Hadoop部署-25yarn应用及测试.mp4
2018-SACC-大数据架构平台设计与应用
11-17
2018-SACC大会-大数据架构平台设计与应用 1. 钱津津_苏宁智慧零售之电商大数据实践.pdf 2. 王晓鹏_品友大数据分析平台演进.pdf 3. 李亚坤_Hadoop YARN在字节跳动的实践.pdf
hadoop-yarn-api-2.5.1-API文档-中文版.zip
04-23
赠送jar包：hadoop-yarn-api-2.5.1.jar； 赠送原API文档：hadoop-yarn-api-2.5.1-javadoc.jar； 赠送源代码：hadoop-yarn-api-2.5.1-sources.jar； 赠送Maven依赖信息文件：hadoop-yarn-api-2.5.1.pom； 包含翻译后...
ruoyi漏洞总结
qq_59468567的博客
05-03 788
baseurl 就有了，有的是全的 url，大多数是只给个 baseurl：prod-api，这类。js 下面有个 app.xxxxxx(一些个字母数字).js，直接里面搜。如果页面访问显示不正常，可添加默认访问路径尝试是否显示正常。若依有个特点，密码可能在前台直接显示，点击并能够成功登录。监控中存在大量接口路径，可通过未授权获取更多敏感信息在。图标和登录页面及验证码处的样式识别出若依。认证失败，无法访问系统资源。进行替换实现登录系统。数据库存在未授权访问。
010_redhat安装zookeeper
WLKUYM的博客
05-02 562
zookeeper的安装在RedHat与CentOS、ubuntu 等Linux系统下的安装基本相同,我是在redhat系统中操作的，安装步骤做个记录，仅供参考。ZooKeeper服务器是用Java创建的，它运行在JVM之上。需要安装JDK 7或更高版本。进入到conf目录拷贝一个zoo_sample.cfg并完成配置。将tar包解压到/usr/local/目录下。准备一台linux服务器。我测试安装的jdk1.8。
大数据技术概述_4.大数据的应用领域
最新发布
huaqianzkh的专栏
05-06 697
主要介绍大数据在制造业、服务业、交通行业、医疗行业的应用。
Elasticsearch：对 Java 对象的 ES|QL 查询
Elastic 中国社区官方博客
05-03 1000
ES|QL 是 Elasticsearch 引入的一种新的查询语言，它将简化的语法与管道操作符结合起来，使用户能够直观地推断和操作数据。官方 Java 客户端的新版本 8.13.0 引入了对 ES|QL 查询的支持，提供了一个新的 API，允许轻松执行查询，并自动将结果翻译为 Java 对象。
pyspark --master yarn怎么配置
03-27
要配置pyspark --master yarn，需要按照以下步骤进行操作： 1. 安装Hadoop和YARN 确保已正确安装Hadoop和YARN，并且可以通过命令行访问它们。 2. 配置Hadoop和YARN环境变量 将Hadoop和YARN的路径添加到环境变量...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值