客户端和NameNode、DataNode通信过程

  • client和NameNode之间是通过RPC通信
  • DataNode和NameNode之间是通过RPC通信
  • client和DataNode之间是通过简单的Socket通信
  • DataNode与DataNode之间通过RPC通信

以HDFS读写文件为例:
  NameNode主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等。NameNode会将文件系统的Meta-data存储在内存中,这些信息主要包括了文件信息、每一个文件对应的文件块的信息和每一个文件块在DataNode的信息等。NameNode本身就是一个RPC的服务端,主要实现的接口有:ClientProtocol、DatanodeProtocol、NamenodeProtocol。
  DataNode是文件存储的基本单元,它将Block存储在本地文件系统中,保存了Block的Meta-data,同时周期性地将所有存在的Block信息发送给NameNode。

  1. ClientProtocol接口
      ClientProtocol协议用于客户端和NameNode之间的交流。客户端通过此协议可以操纵HDFS的目录命名空间、打开与关闭文件流等。该接口协议中定义的与文件内容相关的操作主要有:(1)文件管理,文件的增、删、改,权限控制、文件块管理等;(2)文件系统管理,查看文件系统状态和设置元数据信息,例如容量、块大小、副本因子数等;(3)持久会话类,如放弃对指定块的操作、客户端同步等。

  2. DataNodeProtocol接口
      该协议用于DataNode和NameNode之间进行通信,例如发送心跳报告和块状态报告。一般来说,NameNode不直接对DataNode进行RPC(后面

  • 2
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值