HDFS写数据流程

大数据导论作业 专栏收录该内容
6 篇文章 0 订阅

    在了解HDFS写数据流程之前,我们先来了解HDFS是什么,干什么用的。 

    HDFS可以实现大数据的存储,并处理巨大的文件。而HDFS处理巨大文件的思路是将巨大的文件割成小块文件进行存储,称为”数据块分布式处理“。

 

   接下来让我们看一下HDFS的写数据流程!其中Namenode(nn)是名称节点用来管理文件系统的命名空间。Datenode(dn)数据节点是分布式文件系统HDFS的工作节点,负责数据的存储和读取。

1.客户端向Namenode发出写数据请求。

2.nn检查目录。

3.可以上传。

4.查询dn信息,发送可以上传的dn.

5.客户端向dn发送请求上传的文件。

6.dn相互之间建立pipelin(管道:为后面传输black准备)。

7.上传数据,并向客户端,nn发送已上传完成信息。

 

  

 

 

 

  • 0
    点赞
  • 0
    评论
  • 0
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

©️2021 CSDN 皮肤主题: 1024 设计师:白松林 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值