一、概述
- HDFS(Hadoop DIstributed FIle System)是基于Google发布的GFS设计开发的
- HDFS是一个分布式文件系统,运行在通用硬件上,每隔一个存储是要给节点
- HDFS是Hadoop应用程序的主要存储系统,如下图,HDFS是HBase\MapReduce等的存储基础
4.HDFS的特性
- 大文件(TB)的存储
- 容错能力(硬件故障是常态,而不是异常)
- 异构和可扩展性(能够部署在不同的硬件设备上,也能够水平扩展——当数据规模变大后可以通过添加节点扩展)
- 流式数据访问(适合批量处理,而不是用户交互式访问,重点是数据吞吐量,而不是数据访问的反应)
- 简单的一致性模型(一次写入,多次读取,不能修改)
- 数据局域性(计算的时候是去找数据,在数据存储的地方计算,而不是移动数据去计算)
5.HDFS系统架构
Hadoop1.0只有一个NameNode,而Hadoop2.0有了NameNode的备份:Secondary NameNode
NameNode和多个DataNode交互,每一个DataNode里有若干个存储块,每个存储块在不同的DataNode里有若干份的备份
HDFS客户端和NameNode交互,进行访问读写等