- client和NameNode之间是通过RPC通信
- DataNode和NameNode之间是通过RPC通信
- client和DataNode之间是通过简单的Socket通信
- DataNode与DataNode之间通过RPC通信
以HDFS读写文件为例:
NameNode主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等。NameNode会将文件系统的Meta-data存储在内存中,这些信息主要包括了文件信息、每一个文件对应的文件块的信息和每一个文件块在DataNode的信息等。NameNode本身就是一个RPC的服务端,主要实现的接口有:ClientProtocol、DatanodeProtocol、NamenodeProtocol。
DataNode是文件存储的基本单元,它将Block存储在本地文件系统中,保存了Block的Meta-data,同时周期性地将所有存在的Block信息发送给NameNode。
-
ClientProtocol接口
ClientProtocol协议用于客户端和NameNode之间的交流。客户端通过此协议可以操纵HDFS的目录命名空间、打开与关闭文件流等。该接口协议中定义的与文件内容相关的操作主要有:(1)文件管理,文件的增、删、改,权限控制、文件块管理等;(2)文件系统管理,查看文件系统状态和设置元数据信息,例如容量、块大小、副本因子数等;(3)持久会话类,如放弃对指定块的操作、客户端同步等。 -
DataNodeProtocol接口
该协议用于DataNode和NameNode之间进行通信,例如发送心跳报告和块状态报告。一般来说,NameNode不直接对DataNode进行RPC(后面