hadoop2.2 hdfs

• hdfs 变动

            开始使用多个namenode,避免namenode的单点故障。多个namenode是不容许交互的。

            block pool

            每个namenode 都会有一个自己独立的block pool 用于存储集群上所有datanode的信息，也就是每个namenode都可以独立使用，所存储的数据是一个全集。 所以当一个datanode 产生一个block 时，正好一个namenode单点故障，但是这不会影响到该block。

           Namespace Volume

           block pool和namenode和一起称为Namespace Volume，这个是2.2新提出的概念。

      

     ClusterID

       用于标识该集群的唯一标识符，该ID在namenode format时产生或者指定。hdfs namenode -format -clusterid xxxxx。

• conf中新增配置

  <configuration>
    <property>
      <name>dfs.nameservices</name>
      <value>ns1,ns2</value>
    </property>
    <property>
      <name>dfs.namenode.rpc-address.ns1</name>
      <value>nn-host1:rpc-port</value>
    </property>
    <property>
      <name>dfs.namenode.http-address.ns1</name>
      <value>nn-host1:http-port</value>
    </property>
    <property>
      <name>dfs.namenode.secondaryhttp-address.ns1</name>
      <value>snn-host1:http-port</value>
    </property>
    <property>
      <name>dfs.namenode.rpc-address.ns2</name>
      <value>nn-host2:rpc-port</value>
    </property>
    <property>
      <name>dfs.namenode.http-address.ns2</name>
      <value>nn-host2:http-port</value>
    </property>
    <property>
      <name>dfs.namenode.secondaryhttp-address.ns2</name>
      <value>snn-host2:http-port</value>
    </property>
  
    .... Other common configuration ...
  </configuration>

• hdfs 新增功能权限管理

             该功能可以在hdfs-site.xml 中 dfs.permissions=false，可以禁用掉。

             相关http://hadoop.apache.org/docs/r2.2.0/hadoop-project-dist/hadoop-common/FileSystemShell.html#du