HDFS读写流程介绍,HDFS读数据和写数据的原理是什么?

  Client(客户端)对HDFS中的数据进行读写操作,分别是Client从HDFS中查找数据,即为Read(读)数据;Client从HDFS中存储数据,即为Write(写)数据。下面我们对HDFS的读写流程进行详细的介绍。假设有一个文件1.txt文件,大小为300M,这样就划分出3个数据块,如图1所示。

  图1 文件划分情况

  下面,我们借助图1所示的文件,分别讲解HDFS文件读数据和写数据的原理。

  1.HDFS写数据原理

  在我们把文件上传到HDFS系统中,HDFS究竟是如何存储到集群中去的,又是如何创建备份的,接下来我们来学习客户端向HDFS中的写数据的流程,如图2所示。

  图2 HDFS写数据流程

  从图2可以看出,HDFS中的写数据流程可以分为12个步骤,具体如下:

  (1) 客户端发起文件上传请求,通过RPC(远程过程调用)与NameNode建立通讯。

  (2) NameNode检查元数据文件的系统目录树。

  (3) 若系统目录树的父目录不存在该文件相关信息,返回客户端可以上传文件。

  (4) 客户端请求上传第一个Block数据块,以及数据块副本的数量(可

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值