0922 周总结

1 mr作业提交流程

客户端：1  向RM取号 2 检查作业输出路径 3 计算输入切片 4 将jar 配置信息 切片信息上传到hdfs 并复制10份 向RM提交作业  13

每秒钟向appmaster轮询作业的进度 如果进度有变，在控制台 打印状态信息

RM：5 找一个nodeManager 分配一个容器 运行appmaster

appmaster：6 从hdfs获取作业信息 7 计算需要多少map任务，多少reduce任务 8 向RM为map任务申请资源 9 跟nodemanager通讯 运行map任务 YarnChild map运行入口类 10 当map任务运行5%时 向RM为reduce任务申请资源 11最后运行完毕 appmaster销毁运行状态中间输出等 12 向客户端汇报 运行完毕  

 

 

2 mr源码

3 mr案例

4 hive操作