大数据之HDFS框架

---

前言

#博学谷IT学习技术支持#
Hadoop是一些软件的统称，其底层是Java；Hadoop主要包含HDFS分布式文件存储框架、MapReduce分布式计算框架和Yarn分布式资源调度框架。本篇文章主要介绍Hadoop中的HDFS框架。

一、HDFS介绍

HDFS的全称是Hadoop Distributed File System，Hadoop分布式文件系统。该系统是一个由多台计算机组成的集群，主要看重整体集群的工作效率，不注重单台计算机的性能，所以无论多低配置的计算机都可以加入该集群中。
HDFS系统具有文件切片的机制，可以将一个较大的文件进行切片，切分成多个较小的文件存储在该集群中不同的计算机上，取数据时再将所有的小文件进行合并，返回给客户端。

二、架构介绍

从上图可以看出，HDFS系统中的角色有NameNode、SecondaryName和DataNode。这三个角色有各自的分工，从而是HDFS集群可以正常运行。

• NameNode

1. NameNode管理整个HDFS集群
2. NameNode管理整个集群中的元数据，元数据就是文件在系统中存储的相关信息，不是文件内容
3. Client客户端上传和下载数据都需要经过NameNode，从而获取元数据的信息
4. NameNode是HDFS集群的核心，该角色一当掉，HDFS集群停止运行