Hadoop的存储：分布式文件系统HDFS

一、概述

1. HDFS（Hadoop DIstributed FIle System）是基于Google发布的GFS设计开发的
2. HDFS是一个分布式文件系统，运行在通用硬件上，每隔一个存储是要给节点
3. HDFS是Hadoop应用程序的主要存储系统，如下图，HDFS是HBase\MapReduce等的存储基础

 

4.HDFS的特性

• 大文件（TB）的存储
• 容错能力（硬件故障是常态，而不是异常）
• 异构和可扩展性（能够部署在不同的硬件设备上，也能够水平扩展——当数据规模变大后可以通过添加节点扩展）
• 流式数据访问（适合批量处理，而不是用户交互式访问，重点是数据吞吐量，而不是数据访问的反应）
• 简单的一致性模型（一次写入，多次读取，不能修改）
• 数据局域性（计算的时候是去找数据，在数据存储的地方计算，而不是移动数据去计算）

5.HDFS系统架构

Hadoop1.0只有一个NameNode，而Hadoop2.0有了NameNode的备份：Secondary NameNode

NameNode和多个DataNode交互，每一个DataNode里有若干个存储块，每个存储块在不同的DataNode里有若干份的备份

HDFS客户端和NameNode交互，进行访问读写等