hadoop使用笔记

1、Hadoop 解除 "Name node is in safe mode"？ 
bin/hadoop dfsadmin -safemode leave 
就可以把safemode解除 
safemode模式 
NameNode在启动的时候首先进入安全模式，如果datanode丢失的block达到一定的比例（1-dfs.safemode.threshold.pct），则系统会一直处于安全模式状态即只读状态。 
dfs.safemode.threshold.pct（缺省值0.999f）表示HDFS启动的时候，如果DataNode上报的block个数达到了元数据记录的block个数的0.999倍才可以离开安全模式，否则一直是这种只读模式。如果设为1则HDFS永远是处于SafeMode。 
下面这行摘录自NameNode启动时的日志（block上报比例1达到了阀值0.9990） 
The ratio of reported blocks 1.0000 has reached the threshold 0.9990. Safe mode will be turned off automatically in 18 seconds. 
hadoop dfsadmin -safemode leave 
有两个方法离开这种安全模式 
 （1）修改dfs.safemode.threshold.pct为一个比较小的值，缺省是0.999。 
 （2）.hadoop dfsadmin -safemode leave命令强制离开 
http://bbs.hadoopor.com/viewthread.php?tid=61&extra=page%3D1 
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－ 
Safe mode is exited when the minimal replication condition is reached, plus an extension 
time of 30 seconds. The minimal replication condition is when 99.9% of the blocks in 
the whole filesystem meet their minimum replication level (which defaults to one, and 
is set by dfs.replication.min). 
安全模式的退出前提 - 整个文件系统中的99.9%（默认是99.9%，可以通过dfs.safemode.threshold.pct设置）的Blocks达到最小备份级别(默认是1，可以通过dfs.replication.min设置)。 
dfs.safemode.threshold.pct      float       0.999 
The proportion of blocks in the system that must meet the minimum 
replication level defined by dfs.rep lication.min before the namenode 
will exit safe mode. Setting 
this value to 0 or less forces the name-node not to start in safe mode. 
Setting this value to more than 1 means the namenode never exits safe 
mode. 
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－ 
用户可以通过dfsadmin -safemode value  来操作安全模式，参数value的说明如下： 
enter - 进入安全模式 
leave - 强制NameNode离开安全模式 
get -  返回安全模式是否开启的信息 
wait - 等待，一直到安全模式结束。

2、Hadoop启动时出现Unrecognized option: -jvm 和 Could not create the Java virtual machine？ 
发现是在hadoop/bin/hadoop中有如下一段shell: 
  
<strong>CLASS='org.apache.hadoop.hdfs.server.datanode.DataNode' 
if [[ $EUID -eq 0 ]]; then 
HADOOP_OPTS="$HADOOP_OPTS -jvm server $HADOOP_DATANODE_OPTS" 
else 
HADOOP_OPTS="$HADOOP_OPTS -server $HADOOP_DATANODE_OPTS" 
fi 
</strong>

其中的 
  
<strong>if [[ $EUID -eq 0 ]]; then 
HADOOP_OPTS="$HADOOP_OPTS -jvm server $HADOOP_DATANODE_OPTS" 
</strong>

如果 $EUID 为 0，什么意思呢? 
有效用户标识号（EUID）：该标识号负责标识以什么用户身份来给新创建的进程赋所有权、检查文件的存取权限和检查通过系统调用kill向进程发送软中断信号的许可权限。 
在root用户下echo $EUID，echo结果为 0 
ok，在root下会有-jvm选项添加上去，上面说的Unrecognized option: -jvm难道就是这里产生的。

两个想法。一个想法是自己改了这shell代码，去掉里面的-jvm。另外一个想法是既然这里要求 $EUID -eq 0，那别用$EUID为0的（root用户）用户运行即可。果断试试，换上普通用户根据文档提示做。ok，成功。好奇的再试试第一个想法，其实暂时还是不太想动源码。但是这shell动动也没妨，果断去掉上面的-jvm，直接把上面的if else 结构直接去掉改为 
 
HADOOP_OPTS="$HADOOP_OPTS -server $HADOOP_DATANODE_OPTS"，

同样运行成功。

3、ssh无密码登陆不成功问题？
关闭SElinux就好了
关闭SELinux的方法：
　　修改/etc/selinux/config文件中的SELINUX="" 为 disabled ，然后重启。
　　如果不想重启系统，使用命令setenforce 0
注：
setenforce 1 设置SELinux 成为enforcing模式
setenforce 0 设置SELinux 成为permissive模式 
　　在lilo或者grub的启动参数中增加：selinux=0,也可以关闭selinux 
#------------------------------------