Yarn原理加强之---MapReduce程序在Yarn上简易运行流程

1、提交job:
客户端Client提交job到Yarn主节点ResourceManager上,ResourceManager有两个组件:
一个是ApplicationMaster,用于管理所有applicaion,接收所有job;
第二个是Sheduler:用于资源调度,管理集群资源、分配资源。
2、启动NodeManager:
NodeManager启动向,向ResourceManager汇报运算资源情况。
3、分配jobID和工作IDL:
ApplicationManager分配jobID,并分配默认工作ID和临时工作目录(临时工作目录在HDFS上),将信息返回给客户端Clinent。
4、job初始化:
①创建conf对象:
Confuguration conf = new Configuration();
conf.set(“mapreduce.framework.name”,“yarn”);
conf.set(“yarn.resourcemanager.hostname”,“linux01”);
Job job = nob.getInstance(conf,“wordcount”);
job.setJar(“D://wordCount.jar”);
创建工作目录:
/data/work.jobId
②上传jar包:
WordCountMapper.class maptask
WordCountReducer.class reducetask
③初始化配置:
conf.xml;mapred-site.xml

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值