Hadoop——HDFS设计理论概述及常用命令

Hadoop——HDFS设计理论概述及常用命令

HDFS的设计思想：
    1.HDFS是通过分布式集群来存储文件(为客户端提供了一个便捷的访问方式，就是一个虚拟的目录结构)；
    2.文件存储到HDFS集群中去的时候是被切分成block的；
    3.文件的block存放在若干台datanode节点上；
    4.HDFS文件系统中的文件与真实的block之间的映射关系，由namenode管理；
    5.每一个block在集群中会存储多个副本，好处是可以提高数据的可靠性，还可以提高访问的吞吐量。
(下图是HDFS的架构原理图)

对DataNode(DN)和NameNode(NN)的相关介绍：

namenode记录元数据：
    1.客户端上传文件时，NN首先往edits log文件中记录元数据操作日志；
    2.客户端开始上传文件，完成后返回成功信息给NN，NN就在内存中写入这次上传操作新产生的元数据信息；
    3.每当edits log写满时，需要将这一段时间新的元数据刷到fsimage文件中去；
    SecondaryNameNode:将edits log文件合并到fsimage文件中(fsimage和edits log相关示意图如下图所示)。
datanode提供真实的文件数据存储服务：
    1.文件块(block)：最基本的存储单位(HDFS默认block大小是128M)；
    2.不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据块的大小，并不占用整个数据块存储空间；
    3.Replication，多副本，默认是三个(hdfs-site.xml的dfs.replication属性)

====>HDFS读写文件过程
读文件过程：
  1.使用HDFS提供的客户端开发库Client，向远程的Namenode发起RPC请求；
  2.Namenode会视情况返回文件的部分或者全部block列表，对于每个block，Namenode都会返回有该block拷贝的 DataNode地址；
  3.客户端开发库Client会选取离客户端最接近的DataNode来读取block；如果客户端本身就是DataNode，那么将从本地直接获取数据。
  4.读取完当前block的数据后，关闭与当前的DataNode连接，并为读取下一个block寻找最佳的DataNode；
  5.当读完列表的block后，且文件读取还没有结束，客户端开发库会继续向Namenode获取下一批的block列表。
  6.读取完一个block都会进行checksum验证，如果读取datanode时出现错误，客户端会通知Namenode，然后再从下一个拥有该block拷贝的datanode继续
写文件过程：
  1.使用HDFS提供的客户端开发库Client，向远程的Namenode发起RPC请求；
  2.Namenode会检查要创建的文件是否已经存在，创建者是否有权限进行操作，成功则会为文件创建一个记录，否则会让客户端抛出异常；
  3.当客户端开始写入文件的时候，开发库会将文件切分成多个packets，并在内部以数据队列"data queue"的形式管理这些packets，并向Namenode申请新的blocks，获取用来存储replicas的合适的datanodes列表，列表的大小根据在Namenode中对replication的设置而定。
  4.开始以pipeline（管道）的形式将packet写入所有的replicas中。开发库把packet以流的方式写入第一个datanode，该datanode把该packet存储之后，再将其传递给在此pipeline中的下一个datanode，直到最后一个datanode，这种写数据的方式呈流水线的形式。
  5.最后一个datanode成功存储之后会返回一个ack packet, 在packet里传递至客户端，在
  客户端的开发库内部维护着"ack queue", 成功收到datanode返回的ack packet后会从
  "ack queue"移除相应的packet。
  6.如果传输过程中，有某个datanode出现了故障，那么当前的pipeline会被关闭，出现故障的datanode会从当前的pipeline中移除，剩余的block会继续剩下的datanode中继续以pipeline的形式传输，同时Namenode会分配一个新的datanode，保持replicas设定的数量。
  (读文件和写文件过程示意图如下图所示：)

Rack Awareness策略：
  1.第一个block副本放在和client所在的node里（如果client不在集群范围内，则这第一个node是随机选取的，系统会尝试不选择哪些太满或者太忙的node）。
  2.第二个副本放置在与第一个节点不同的机架中的node中（随机选择）。 
  3.第三个副本和第二个在同一个机架，随机放在不同的node中。

常用管理命令：(待补充)
hadoop-daemon.sh
hdfs 
hdfs dfs
hdfs dfsadmin
hadoop namenode -format (格式化成功之后，会看到success字样，注意：每个节点只能格式化一次，否则会出现datanode和namenode节点ID不一致的问题)