HDFS分布式文件系统架构

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/yang1464657625/article/details/74888224

HDFS: Hadoop Distributed File System

特点:hadoop分布式的文件系统,具备高容错、部署方便的特点,master/slave架构

这里写图片描述

组件:NameNode和DataNode

NameNode:名称节点,记录HDFS文件所在的Block的大小、部署位置等信息,类似文件索引信息的概念,充当master的角色,整个HDFS文件系统只有一个NamNode节点,为了保证Hadoop的高容错的特点,可以设置secondNameNode,对主NameNode进行数据备份,防止NameNode的单点故障造成HDFS文件系统的崩溃

DataNode:HDFS文件具体存储数据的信息,类似数据仓库的概念,HDFS集群可以由多个DataNode组成,实现存储容量的动态扩容

工作流程:

客户端访问HDFS文件系统时,首先通过TCP协议发送数据给NameNode,NameNode根据内部维持的文件信息,将文件存储的相关信息反馈给客户端,客户端根据NameNode的响应信息,直接对该文件所在的DataNode节点进行读写操作
这里写图片描述

高容错的保障措施:

  1. secondNameNode对NameNode进行数据备份,避免单点故障
  2. DataNode与NameNode通过心跳信号进行通讯,确保DataNode出现故障之后能够进行相应的处理
  3. 可以为每个数据块设置备份数,避免DataNode单节点故障造成数据丢失
  4. HDFS提供一种Block动态分配的机制,如果DataNode存储的文件过多,HDFS会平衡各种因素,将重负荷的DataNode的数据进行其他DataNode的数据存储,避免单点DataNode负载过大,造成性能的降低
阅读更多
想对作者说点什么?

博主推荐

换一批

没有更多推荐了,返回首页