hadoop 2.2.0 运维

1. 从secondary name node 回复数据：

    config: hdfs-site.xml

<property>
  <name>dfs.secondary.http.address</name>
  <value>second_namenode:50090</value>
  <description>
    The secondary namenode http server address and port.
    If the port is 0 then the server will start on a free port.
  </description>
</property> 

   secondary name node 默认checkpoint dir is:

<property>  
 <name>fs.checkpoint.dir</name>  
 <value>${hadoop.tmp.dir}/dfs/namesecondary</value> 
</property>

2. 回复checkpoint从secondary namenode

rm -rf dfsname/*
scp -r secondaryNameNode root@NameNode:/*/dfsname

3. 同时可以配置checkpoint Node 和 BackUPNode (新功能)

4.配置datanode rack信息 (配置完机架信息后，hadoop fs -cat filename 读文件出现 nullpoint 异常，怀疑是dns域名需要修改)

  rack命名规范：  /rack1    etc.

  配置core-site.xml  in name node

<property>
<name>topology.script.file.name</name>
<value>/path/to/topology_rack.sh</value>
</property>

编写机架映射脚本

#!/bin/bash
ipaddr=$1
if [ $ipaddr = "ip1" -o $ipaddr = "ip2" ]
then
echo "/rack1"
fi

if [ $ipaddr = "ip3" -o $ipaddr = "ip4" ]
then
echo "/rack2"
fi

测试机架topology：

hdfs dfsadmin -printTopology

5. 安全模式：

NameNode在启动的时候首先进入安全模式，如果datanode丢失的block达到一定的比例（1- dfs.safemode.threshold.pct），则系统会一直处于安全模式状态即只读状态。 dfs.safemode.threshold.pct（缺省值0.999f）表示HDFS启动的时候，如果DataNode上报的block个数达到了 元数据记录的block个数的0.999倍才可以离开安全模式，否则一直是这种只读模式。如果设为1则HDFS永远是处于SafeMode。

安全模模式控制命令：

hdfs dfsadmin -safemode