【Hadoop】数据存储----HDFS

            一次写入，多次查询，写人关闭时，不支持修改，同一时间只有写或读一个操作，不支持并发写入情况，适合大数据

使用前提：

1.hdfs设计思路和实现目标  ： 1.硬件错误检测和快速恢复；2.注重批量处理而非用户交互处理，注重高吞吐率；3.大规模数据集；4.简单一致性模型      ；5移动计算比移动数据更加划算
    

2。hdfs体系机构：

     主从结构。 主机主要负责客户端访问元数据的要求，以及存储块信息。从机主要负责对主机进行实时备份，同时定期将用户操作记录以及文件记录归并到块存储设备，并将其回写到主机。当主机失效时，从机接管主机所有的工作

    namenode 和  datanode ； 
    namenode用来进行文件的命名空间的管理---元数据；  namenode使用事务日志来记录hdfs的元数据的变化，使用映像文件存储文件系统的命名空间，包含文件的映射、文件的属性等。其中hdfs还专门设置了secondary namenode节点，用它来辅助namenode处理映像文件和事务日志。 
    datanode文件实际存储的内存地址；      

存储结构原理：

                                                                                      （该图借鉴网上用图）

.一个HDFS集群是由一个NameNode和若干个DataNode组成.

NameNode是主控制服务器，负责管理HDFS文件系统的命名空间，记录文件数据库在每个DataNode节点上的位置和副本信息，协调客户端(Client)对文件的访问/操作，以及记录命名空间内的改动或命名空间本身属性的改变。


DataNode是数据存储节点，负责自身所在物理节点上的存储管理。HDFS中文件存储是按块(Block)存储的，默认大小是64MB。一个集群只有一个namenode，一个机柜存储多个datanode，一个datanode含有多个block。


客户端操作数据，只通过NameNode获取DataNode节点的物理位置，对于写/读数据的具体操作，NameNode是不会参与的，全部由DataNode负责。


由于HDFS中只有一个NameNode节点，所有存在单点问题，即如果改NameNode节点宕机，那么HDFS就会出现问题，数据可能丢失。解决办法是启动一个SecondaryNameNode或者将NameNode数据写出到其它远程文件系统中。

数据恢复和保障机制：

副本日志


1、 filelog 事务日志  2、多个日志副本 3、快照  4.一个block 有三个副本，保存到2个以上的rack-机柜中。防止机柜掉电或者交换机挂掉


hdfs的可靠性措施： hdfs的主要设计目标就是在故障的情况下也能保证数据存储的可靠性。hdfs具备了完善的冗余备份和故障恢复机制。


1.冗余备份
  hdfs以数据块（block）为存储单元，每个block都有副本进行备份（副本的数量可配置）。block存储在机柜（rack）上，通常情况下block的副本会存储在至少两个rack上。


2.快照
   快照支持存储某个时间的数据复制，当hdfs数据损坏时，可以回滚到某个快照时间点，进行数据恢复。目前hdfs还不支持。


3.心跳检测
  namenode周期性从datanode中接收数据，用以判断是否有损坏，然后决定是否重新复制。


4.安全模式

  系统启动时，namenode进入安全模式，判断各个datanode的副本数是否符合最小副本数，如不符合则复制该block到最小副本数。

5.数据完整性检测
  hdfs客户端软件对存储文件进行校验和检查，每次创建block时都会对它进行校验，并将校验隐藏存储。当该block被读取时，hdfs就会调出隐藏的校验核对信息是否齐全，当有误时，则从该block的副本中调去数据，并对该block重新覆盖。


6.空间回收
  hdfs的数据删除是软删除。在配置文件配置的有效时间内是可以恢复的。当执行删除命令时，hdfs是将文件转移到/trash目录下，然后处于停用状态，当到达hdfs配置文件规定的时间后，才会彻底的将该文件删除。