MapReduce on Yarn(包含MapReduce执行详细流程)
1. MapReduce1.1 MapReduce任务在Yarn中执行流程MapReduce作为一种分布式计算框架,它在Yarn中执行的流程为:(1)客户端提交job;细节:① org.apache.hadoop.mapreduce.Job类配置job;② mapred-site.xml中mapreduce.framework.name配置为yarn时,yarn协议会激活;③ job.waitForCompletion(true):将job提交到Yarn集群,并等待执行完成;④ 客户端代
原创
2022-04-05 14:12:01 ·
2845 阅读 ·
4 评论