HDFS(五)—— HDFS 文件上传的过程

本文详细介绍了HDFS文件上传的过程,从客户端发送请求开始,经DFSClient创建DistributedFileSystem,建立RPC通信与NameNode交互,请求创建并缓存文件元信息,再通过输出流上传数据块,实现数据冗余复制,确保文件安全可靠地存储在HDFS中。
摘要由CSDN通过智能技术生成

HDFS数据上传过程

一、客户端发送请求

客户端执行上传文件的命令:hdfs dfs -put a.avi /movie

二、DFSClient.java 创建 DistributedFileSystem

请求首先被 DFSClient.java 这个类获取到,由该类创建 DistributedFileSystem 对象。

三、建立 RPC 通信,获得 NameNode 的代理对象

DistributedFileSystem 建立与 NameNode 之间的 RPC 通信,并且得到一个 NameNode 的代理对象:NameNodeProxies

NameNodeProxies 是个复数,是因为我们为了保证 HA(高可用),会使用多个 NameNode 节点。

四、请求创建文件的元信息

由 NameNodeProxies 去请求 NameNode 创建文件的元信息。

五、创建文件的元信息

NameNode 创建文件的元信息,元信息的内容如下:

{
   
	"文件名" : "a.avi",
	"路径" : "/movie"<
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值