yarn
疯狂的程序猿88888
忘性太大,解决的问题赶紧写博客记下来
展开
-
yarn工作流程
当用户向yarn提交一个应用程序后,yarn分两个阶段运行此任务,第一个阶段启动ApplicationMaster,第二个阶段由ApplicationMaster创建应用程序,为它申请资源,监控整个运行过程,知道任务完成,总得来说有以下几个步骤 1.用户向yarn提交应用程序,包括ApplicationMaster程序, 2.RM为应用程序分配一个Container,并与对应的NM通信,要求它原创 2015-09-15 14:46:28 · 645 阅读 · 0 评论 -
yarn基本架构
yarn将hadoop2.x中的mrv.1的JobTracker和TaskTracker分成了一个全局的资源管理器ResourceManager和每个程序所特有的ApplicationMaster ResourceManager负责整个集群的资源管理和分配,而ApplicationMaster则负责单个程序的管理 yarn基本组成结构 yarn使用master/slave结构,resourc原创 2015-09-15 14:30:32 · 434 阅读 · 0 评论 -
Spark on yarn--几种提交集群运行spark程序的方式
今天看了spark的yarn配置,本来想着spark在hadoop集群上启动之后,还需要配置spark才能让yarn来管理和调度spark的资源,原来启动master和worker之后就会让yarn来原理spark的资源,因为我使用了spark和hadoop集群的高可用,可能是不是这个问题呢,还不太清楚,暂且记住,等我再研究研究 因为我使用zookeeper集群来进行管理,所以我提交任务原创 2016-04-01 14:45:36 · 6777 阅读 · 0 评论