RPC通信原理解析
-
通过源码深入理解以下hadoop的组件及重要流程,巩固学习;
-
hdfs、yarn、mr
-
datanode和namenode如何通信?RM和NM如何通信?
- 都是通过RPC通信协议 (远程过程调用(Remote Procedure Call))
- 分为三个部分:服务端、客户端、通信协议
- 服务端实现RPC接口协议,创建RPC服务(服务器地址、端口号、通信协议),接口协议包括(版本id,创建文件夹),客户端获取服务器代理(服务器地址,端口号,通信协议),服务端代理调用。
NameNode的启动源码
- 画图网站:https://www.processon.com/
DataNode的启动源码
HDFS写文件的流程与源码阅读
Yarn的工作机制
部分资料来自五分钟学大数据、尚硅谷