BdataLZL的博客

原创 mapreduce程序在yarn上运行的流程

自己学习mapreduce的一点简单的心得 1.当我们在准备在yarn上运行一个mapreduce程序时，job.waitForCompletion()就会去Resource Manager发出一个请求，请求运行一个m r程序； 2.hdfs在获得这个请求之后，会去分配一个jobid和一个job资源提交的路径； 3.接下来就是准备向HDFS提交所需要的资源，分别是所需要的jar包以及计算切片