1、提交job:
客户端Client提交job到Yarn主节点ResourceManager上,ResourceManager有两个组件:
一个是ApplicationMaster,用于管理所有applicaion,接收所有job;
第二个是Sheduler:用于资源调度,管理集群资源、分配资源。
2、启动NodeManager:
NodeManager启动向,向ResourceManager汇报运算资源情况。
3、分配jobID和工作IDL:
ApplicationManager分配jobID,并分配默认工作ID和临时工作目录(临时工作目录在HDFS上),将信息返回给客户端Clinent。
4、job初始化:
①创建conf对象:
Confuguration conf = new Configuration();
conf.set(“mapreduce.framework.name”,“yarn”);
conf.set(“yarn.resourcemanager.hostname”,“linux01”);
Job job = nob.getInstance(conf,“wordcount”);
job.setJar(“D://wordCount.jar”);
创建工作目录:
/data/work.jobId
②上传jar包:
WordCountMapper.class maptask
WordCountReducer.class reducetask
③初始化配置:
conf.xml;mapred-site.xml
Yarn原理加强之---MapReduce程序在Yarn上简易运行流程
最新推荐文章于 2021-11-03 17:43:16 发布