一、HDFS的组成架构
NameNode:存储一些元数据信息,管理数据块的映射信息,处理客户端的请求
DataNode:存储一些真实的数据块,执行数据块的读/写操作
Secondary NameNode:主要是做一个数据备份,辅助NameNode分担其工作量
二、Hadoop的写流程
文字版描述:
由客户端向NameNode发起一个上传文件的的申请,NameNode接收到这个请求以后会对这个请求进行一个基本的验证,验证内容包括对请求上传的路径的合法性进行验证其次还要对请求的用户进行权限验证,如果验证没有问题的话,NameNode会对客户端发起的请求进行一个响应,其实就是NameNode告诉客户端可以上传文件了。客户端此时对对我们上传的那个文件进行一个切块,按照blocksize大小进行切块,切完块后按照块的的顺序开始上传数据块,NameNode会返回给客户端DataNode节点数量,客户端会根据机架感知找到其中一台机器建立通道,然后由这台机器向后面的机器简历通道,并且客户端返回给Name