- 博客(3)
- 收藏
- 关注
RSS订阅转载 【hadoop】job提交全过程
一、作业提交过程之 YARN（1）作业提交第 0 步：client 调用 job.waitForCompletion 方法，向整个集群提交 MapReduce 作业。第 1 步：client 向 RM 申请一个作业 id。第 2 步：RM 给 client 返回该 job 资源的提交路径和作业 id。第 3 步：client 提交 jar 包、切片信息和配置文件到指定的资源提交路径。第 4 步：c...
2018-06-08 22:41:46
8960
2
转载 【hadoop】yarn基本架构和工作机制
一、yarn基本架构二、yarn工作机制（0）Mr 程序提交到客户端所在的节点。（1）Yarnrunner 向 Resourcemanager 申请一个 Application。（2）rm 将该应用程序的资源路径返回给 yarnrunner。（3）该程序将运行所需资源提交到 HDFS 上。（4）程序资源提交完毕后，申请运行 mrAppMaster。（5）RM 将用户的请求初始化成一个 task。（...
2018-06-08 22:32:21
350
转载 【hadoop】MapReduce工作流程和MapTask、Shuffle、ReduceTask工作机制
MapReduce整个工作流程：一、MapTask阶段（1）Read 阶段：Map Task 通过用户编写的 RecordReader，从输入 InputSplit 中解析出一个个 key/value。（2）Map 阶段：该节点主要是将解析出的 key/value 交给用户编写 map()函数处理，并产生一系列新的 key/value。（3）Collect 收集阶段：在用户编写 map()函数中，...
2018-06-08 22:28:43
18794
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人