HDFS实现分布式文件存储

模式概念：

单击模式（Standalone）：

单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完全运行在本地。因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。

 

伪分布式（Pseudo-Distributed Mode）：

伪分布模式在“单节点集群”上运行Hadoop，其中所有的守护进程都运行在同一台机器上。该模式在单机模式之上增加了代码调试功能，允许你检查内存使用情况，HDFS输入输出，以及其他的守护进程交互。5个进程的介绍http://www.aboutyun.com/thread-7088-1-1.html

 

完全分布式（Fully Distributed Mode）：

Hadoop守护进程运行在一个集群上.

master上看到namenode,jobtracer，secondarynamenode可以安装在master节点，也可以单独安装。slave节点能看到datanode和nodeManage

 

HDFS起源：

HDFS源于Google的GFS论文 发表于2003年10月  HDFS是GFS的克隆版！

http://www.cnblogs.com/999-/p/7120490.html

GFS是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上，并提供容错功能。它可以给大量的用户提供总体性能较高的服务。

GFS 也就是 google File System，Google公司为了存储海量搜索数据而设计的专用文件系统。

HDFS简介：

HDFS（Hadoop Distributed File System，Hadoop 分布式文件系统）是一个高度容错性的系统，适合部署在廉价的机器上。HDFS 能提供高吞吐量的数据访问，适合那些有着超大数据集（largedata set）的应用程序。

1. HDFS体系结构

 

1. 1. NameNode

节点进程存在于集群的Master主机上

作用：

1.1.1管理文件的命名空间

1.1.2协调客户端对文件的访问

1.1.3记录每个文件数据在各个DataNode上的位置和副本信息

主要文件：

VERSION：版本信息，文件系统标识符

seen_txid：事物管理文件

Fsimage_* |

Fsimage_*.md5 |------- ----源数据文件

Edits_* |

 

 

1. 1. DataNode

节点进程存在于集群的Slave子机器上

作用：

1.2.1真实数据的存储管理

1.2.2一次写入，并行读取（不修改）

1.2.3文件由数据块组成，典型的块大小是64MB

1.2.4数据块尽量散布在各个节点

主要文件：

blk<id>：HDFS的数据块，保存具体的二进制数据

blk<id>.meta：数据块的属性信息：版本信息，类型信息等

 

写入文件流程：

读取文件流程：

1. 1. SecondaryNameNode

节点进程存在于集群的master上，也可以是单独一台机器

作用：

1.3.1 NameNode的一个快照

1.3.2周期性备份NameNode

1.3.3记录NameNode中的MateData以及其他数据

1.3.4可以用来恢复NameNode，但是不能替换NameNode

 

1. HDFS Shell操作
2. (1)查询目录下的文件

查询根目录

查询文件夹下的文件

 

 

• (2)创建文件夹

• (3)上传本地文件到HDFS中
•  

上传多个文件

• (4)删除文件

• (5)删除文件夹

• (6)从HDFS中复制文件到本地

• (7)查询文件内容

• (8)移动HDFS中的文件

• (9)检查文件系统健康情况

• (10)复制HDFS中的文件

• (11)显示目录文件大小

如果是目录，则显示总大小

• (12)清空回收站