源码走读-Yarn-ResourceManager08-总结

0x00 系列文章目录

1. 源码走读-Yarn-ResourceManager01-基础概念
2. 源码走读-Yarn-ResourceManager02-RM的启动-脚本
3. 源码走读-Yarn-ResourceManager03-RM的启动之RM详解
4. 源码走读-Yarn-ResourceManager04-RM调度之FairScheduler
5. 源码走读-Yarn-ResourceManager05-MR任务提交-客户端侧分析
6. 源码走读-Yarn-ResourceManager06-MR任务提交-服务端分析
7. 源码走读-Yarn-ResourceManager07-ShutdownHookManager
8. 源码走读-Yarn-ResourceManager08-总结

0x08 总结

花了不少时间，总算是把RM源码分析的系列文章写完了。通过这次源码阅读，也学到了不少东西，认识到自己的不足，还需要继续学习如protobuf等技术。鉴于作者能力有限，其中有很多地方可能没有说清楚或说错了，希望大家批评指正。希望大家看完后有所收获，并提出宝贵的建议与意见，谢谢。

另，以后有时间会多画点图，便于大家理解。

0xFD 单元测试

下面说下调试的时候的一些单元测试：
hadoop-2.6.0-cdh5.8.2/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-resourcemanager/src/test/java/org/apache/hadoop/yarn/server/resourcemanager/scheduler
主要分为fifo fair capacity三个package，里面包含了调度器的很多单元测试方法。

0xFE 附录

1. 概念解释

1.1 RelaxLocality

RelaxLocality表示RM分配资源时本地化策略松弛度。

• 在ResourceRequest申请时若未指定则默认为true，表示通知RM如果App想用宽松的资源本地化策略。
  例如在RM给App分配container时，如果指定节点分配失败，可以分配到该节点的同机架上的其他节点或者是任意节点

• 为false时为严格模式，在资源分配上有硬性要求

0xFF 参考文档

《Hadoop技术内幕深入解析YARN架构设计与实现原理》