HDFS文件读写操作（通俗易懂）

最新推荐文章于 2024-07-22 02:03:32 发布

王小波_Libo

最新推荐文章于 2024-07-22 02:03:32 发布

阅读量2.4k

点赞数 3

分类专栏： # 大数据与云计算文章标签： hdfs hadoop

本文链接：https://blog.csdn.net/qq_38900441/article/details/83018724

版权

本文深入浅出地介绍了HDFS中的NameNode角色及其在文件读写操作中的作用，包括管理数据块映射，处理客户端的读写请求及副本策略配置。

摘要由CSDN通过智能技术生成

首先来介绍两个概念

▪NameNode：领导级别。管

NameNode：领导级别。管理数据块映射；处理客户端的读写请求；配置副本策略；管理HDFS的名称空间；

DataNode：员工级别。负责存储客户端发来的数据块block；执行数据块的读写操作。

理数据

写详细步骤：
1、首先向namenode通信，请求上传文件，namenode检查目标文件是否已存在，父目录是否存在 
2、namenode返回是否可以上传 
3、client会先对文件进行切分
4、namenode返回datanode的服务器
 5、client请求一台datanode上传数据，第一个datanode 收到请求会继续调用第二个，然后第二个调用第三个，将这个通信管道建立完成，然后逐级应答
 6、client开始往A上传第一个block（先从磁盘读取数据放到一个本地内存缓存），以packet为单位（一个packet为64kb），第一台datanode收到一个packet就会传给第二台，第二台传给第三台；第一台每传一个packet会放入一个应答队列等待应答 
7、当一个block传输完成之后，client再次请求namenode上传第二个block的服务器。