yarn
文章平均质量分 84
通凡
这个作者很懒,什么都没留下…
展开
-
YARN回顾(一)——相关概念
一、YARN基本服务组件 YARN全称yet another resources negotiator,是Hadoop 2.0中的资源管理系统,它的基本设计思想是由于MapReduce v1中的JobTracker管理的事情太多,负载太重,所以将其拆分成了两个独立的服务:一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster...原创 2018-08-14 14:52:48 · 529 阅读 · 0 评论 -
YARN回顾(二)——作业执行流程
一、YARN的执行流程YARN最为主流的集群管理平台,现已成为大数据处理的平台的主流管理框架,包括storm、Hadoop、spark等都支持,而运行在YARN上的应用程序主要分为两类:短应用程序和长应用程序,其中,短应用程序是指一定时间内(可能是秒级、分钟级或小时级,尽管天级别或者更长时间的也存在,但非常少)可运行完成并正常退出的应用程序,比如MapReduce作业、Spark作业(非str...原创 2018-08-14 15:23:08 · 985 阅读 · 0 评论 -
YARN回顾(三)——资源管理、配置
一、YARN的资源管理1、资源调度和隔离是yarn作为一个资源管理系统,最重要且最基础的两个功能。资源调度由resourcemanager完成,而资源隔离由各个nodemanager实现。2、Resourcemanager将某个nodemanager上资源分配给任务(这就是所谓的“资源调度”)后,nodemanager需按照要求为任务提供相应的资源,甚至保证这些资源应具有独占性,为任务运行...原创 2018-08-14 15:44:51 · 505 阅读 · 0 评论 -
YARN回顾(四)——CPU资源隔离
yarn默认只管理内存资源,虽然也可以申请cpu资源,但是在没有cpu资源隔离的情况下效果并不是太好.在集群规模大,任务多时资源竞争的问题尤为严重,还好yarn提供的LinuxContainerExecutor可以通过cgroup来隔离cpu资源。一、cgroupcgroup是系统提供的资源隔离功能,可以隔离系统的多种类型的资源,yarn只用来隔离cpu资源1.1 安装cgro...转载 2018-08-14 16:24:25 · 1981 阅读 · 0 评论 -
YARN回顾(五)——通信协议
一、YARN通信协议YARN通信协议,RPC协议是连接各个组件的“大动脉”,了解不同组件之间的RPC协议有助于我们更深入地学习YARN框架。在YARN中,任何两个需相互通信的组件之间仅有一个RPC协议,而对于任何一个RPC协议,通信双方有一端是Client,另一端为Server,且Client总是主动连接Server的,因此,YARN实际上采用的是拉式(pull-based)通信模型。如图,箭...原创 2018-08-14 17:04:16 · 1256 阅读 · 0 评论 -
YARN回顾(六)——调度器
在Yarn中有三种调度器可以选择:FIFO Scheduler ,Capacity Scheduler,Fair Scheduler。FIFO SchedulerFIFO Scheduler把应用按提交的顺序排成一个队列,这是一个先进先出队列,在进行资源分配的时候,先给队列中最头上的应用进行分配资源,待最头上的应用需求满足后再给下一个分配,以此类推。Capacity Scheduler...原创 2018-08-14 18:24:11 · 239 阅读 · 0 评论 -
YARN回顾(七)——Spark在YARN上的运行模式
Spark On Yarn在YARN上启动Spark应用有两种模式。在cluster模式下,Spark驱动器(driver)在YARN Application Master中运行(运行于集群中),因此客户端可以在Spark应用启动之后关闭退出。而client模式下,Spark驱动器在客户端进程中,这时的YARN Application Master只用于向YARN申请资源。1 clus...原创 2018-08-14 18:41:24 · 456 阅读 · 0 评论