Hadoop——HDFS介绍、特性、基本操作

Hadoop hdfs
一、HDFS入门
1．HDFS基本概念
1.1．HDFS介绍
HDFS是Hadoop Distribute File System 的简称，意为：Hadoop分布式文件系统。是 Hadoop核心组件之一，作为最底层的分布式存储服务而存在。
分布式文件系统解决的问题就是大数据存储。它们是横跨在多台计算机上的存储系统。分布式文件系统在大数据时代有着广泛的应用前景，它们为存储和处理超大规模数据提供所需的扩展能力。
1.2．HDFS设计目标
1)硬件故障是常态， HDFS将有成百上千的服务器组成，每一个组成部分都有可能出现故障。因此故障的检测和自动快速恢复是HDFS的核心架构目标。
2)HDFS上的应用与一般的应用不同，它们主要是以流式读取数据。HDFS被设计成适合批量处理，而不是用户交互式的。相较于数据访问的反应时间，更注重数据访问的高吞吐量。
3)典型的HDFS文件大小是GB到TB的级别。所以，HDFS被调整成支持大文件。它应该提供很高的聚合数据带宽，一个集群中支持数百个节点，一个集群中还应该支持千万级别的文件。
4)大部分HDFS应用对文件要求的是write-one-read-many访问模型。一个文件一旦创建、写入、关闭之后就不需要修改了。这一假设简化了数据一致性问题，使高吞吐量的数据访问成为可能。
5)移动计算的代价比之移动数据的代价低。一个应用请求的计算，离它操作的数据越近就越高效（网络拓扑图的近），这在数据达到海量级别的时候更是如此。将计算移动到数据附近，比之将数据移动到应用所在显然更好。
6)在异构的硬件和软件平台上的可移植性。这将推动需要大数据集的应用更广泛地采用HDFS作为平台

2．HDFS重要特性
首先，它是一个文件系统，用于存储文件，通过统一的命名空间目录树来定位文件；
其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。
2.1．master/slave架构 主从架构
HDFS采用master/slave架构。一般一个HDFS集群是有一个Namenode和一定数目的 Datanode组成。Namenode是HDFS集群主节点，Datanode是HDFS集群从节点，两种角色各司其职，共同协调完成分布式的文件存储服务。

• 主角色：namenode 管理文件系统元数据（目录树结构 文件和块的对应信息）
• 从角色：datanode 负责具体数据块存储 定时向namenode进行块的汇报
  2.2．分块存储
  HDFS中的文件在物理上是分块存储（block）的，块的大小可以通过配置参数来规定，默认大小在hadoop2.x版本中是128M。2.3．名字空间（NameSpace）
  2.3．名字空间（NameSpace）
  HDFS支持传统的层次型文件组织结构。用户或者应用程序可以创建目录，然后将文件保存在这些目录里。文件系统名字空间的层次结构和大多数现有的文件系统类似：用户可以创建、删除、移动 或重命名文件
  Namenode负责维护文件系统的名字空间，任何对文件系统名字空间或属性的修改都将被Namenode记录下来。
  HDFS会给客户端提供一个统一的抽象目录树，客户端通过路径来访问文件，形如：
  hdfs://namenode:port/dir-a/dir-b/dir-c/file.data。
  2.4．Namenode元数据管理
  我们把目录结构及文件分块位置信息叫做元数据。Namenode负责维护整个hdfs文件系统的目录树结构，以及每一个文件所对应的block块信息（block的id，及所在的datanode服务器）。
  2.5．Datanode数据存储
  文件的各个block的具体存储管理由datanode节点承担。每一个block都可以在多个datanode上。Datanode需要定时向Namenode汇报自己持有的block信息。
  存储多个副本（，默认是3）。
  2.6．副本机制
  hadoop默认的副本数是3（1 + 2 = 3）
  为了容错，文件的所有block都会有副本。每个文件的block大小和副本系数都是可配置的。(副本数量也可以通过参数设置dfs.replication)。
  2.7．一次写入，多次读出
  HDFS是设计成适应一次写入，多次读出的场景，且不支持文件的修改。
  正因为如此，HDFS适合用来做大数据分析的底层存储服务，并不适合用来做网盘应用，因为，修改不方便，延迟大，网络开销大，成本太高。

3．HDFS基本操作
3.1．Shell 命令行客户端
格式:
hadoop fs 文件系统的协议：//主机名：host/文件路径hdfs文件系统
文件系统shell包括与Hadoop分布式文件系统（HDFS）以及Hadoop支持的其他文件系统（如本地FS，HFTP FS，S3 FS等）直接交互的各种类似shell的命令。所有FS shell命令都将路径URI作为参数。
对于HDFS,命令示例如下：
hadoop fs -ls hdfs://namenode:host/parent/child
hadoop fs -ls /parent/child fs.defaultFS中有配置
对于本地文件系统，命令示例如下：
hadoop fs -ls file:///root/
如果使用的文件系统是HDFS，则使用hdfs dfs也是可以的，此时
hadoop fs = hdfs dfs