HDFS读写流程

最新推荐文章于 2024-11-19 20:46:35 发布

1029179954

最新推荐文章于 2024-11-19 20:46:35 发布

阅读量334

点赞数

分类专栏： hadoop 文章标签： hadoop hdfs 数据的读写大数据

本文链接：https://blog.csdn.net/baidu_38978508/article/details/88929870

版权

本文以漫画形式详细阐述了HDFS的写入和读取流程。在写流程中，客户端将数据按默认blocksize分块，通过namenode协调将数据块存储到多个datanode，最终由datanode间完成数据复制。读流程则涉及客户端从namenode获取元数据，然后直接从datanode下载所需数据。

摘要由CSDN通过智能技术生成

为了更好地理解HDFS读写流程，下面主要以漫画的形式进行的叙述。
一、HDFS写的流程
1、HDFS主要组成（主要了解hadfs构成及其担任的工作）
在这里插入图片描述
client：客户端（主要发起读和写），可以在javaapi操作，也可以hdfs shell中操作
namenode：全局把控
datanode：存储数据
2、数据分块
默认的情况下，客户端知道一个blocksize是多大和有几个block的副本。

客户端根据默认blocksize的大小将上传的数据进行分块，分好之后去找全局的把控者（namenode），告诉它我要进行以什么样的方式进行数据存储。
3、数据存储
datenode进行数据存储
在这里插入图片描述
根据客户端的请求，namenode找好存储数据的datenode，告诉客户端你往那几个datenode存储。接下来客户端就进行数据存储，存储的时候client先将数据存到第一个datenode，然后这个datenode将数据存储到下一个datenode，第二个datenode将数据存储到第三个datenode上。也