HDFS相关概念及体系结构

 1.hdfs设计原理
      负载均衡、考虑分布式计算
      -->block机制
   2.block默认大小为128m【hadoop2.0版本以上】
     原因：默认传输效率100M/s   寻址时间占传输时间的1%  寻址时间为10ms
     block默认设置参数：
       <property>
      <name>dfs.blocksize</name>
      <value>10</value>
      <description>
            新文件的默认块大小（以字节为单位）。
        您可以使用以下后缀（不区分大小写）：k，m，g，t，p，e指定大小（如128k，512m，1g等）
        或者以字节为单位提供完整的大小（例如128MB的134217728）。
      </description>
    </property>

     修改block大小，参照dfs.namenode.fs-limits.min-block-size，默认1M
       <property>
      <name>dfs.namenode.fs-limits.min-block-size</name>
      <value>10</value>
      <description>Minimum block size in bytes, enforced by the Namenode at create
          time. This prevents the accidental creation of files with tiny block
          sizes (and thus many blocks), which can degrade
          performance.</description>
    </property>
    ***************************************************************
        <property>
      <name>dfs.bytes-per-checksum</name>
      <value>10</value>
      <description>The number of bytes per checksum.  Must not be larger than
      dfs.stream-buffer-size</description>
    </property>
        
    总结：block是物理的，真正存储的位置在本地磁盘{hadoop.tmp.dir}/dfs/data
              block是针对文件说的，按照块号存储的物理文件

HDFS的体系结构
-------------------------
    1.namenode[守护进程]作用：
        管理文件系统名称空间；【fsimage元数据镜像文件】
    管理客户端对文件的访问。【edits操作文件】
    NameNode执行文件系统命名空间操作，如打开，关闭和重命名文件和目录【edits操作文件】
    确定block到DataNode的映射（注意：心跳机制:status和blockreport；默认3秒一次）
    2.datanode[守护进程]：
        用于管理连接到它们所运行的节点的存储。【block信息：block和block.mate】
        负责提供来自文件系统客户端的读取和写入请求
    还执行块创建，删除；
    3.block：文件被分成一个或多个块，这些块存储在一组DataNode中（默认3份）