Hadoop tips: Hadoop脚本的环境变量

在Hadoop的命令行脚本($HADOOP_HOME/bin/hadoop)里可以找到一些环境变量，在某些情况下可以灵活使用。

JAVA_HOME，HADOOP_CLASSPATH，HADOOP_HEAPSIZE等变量的意义比较明确，就不细说了。

HADOOP_CONF_DIR

指定Hadoop配置文件目录，默认是${HADOOP_HOME}/conf。当某台客户端机器是多人共用时，大家可能使用同一个Hadoop安装包，但每个人却都都有各自的配置，所以需要各自指定自己的配置文件目录：

export HADOOP_CONF_DIR=$HOME/hadoop_conf

这个环境变量在测试脚本里也经常使用。

HADOOP_OPTS

HADOOP_OPTS环境变量（包括HADOOP_NAMENODE_OPTS，HADOOP_CLIENT_OPTS等）指定了Hadoop Java进程运行时的系统参数，比如TestDfsIO程序中用到一个系统参数test.build.data，我们需要把它放到HADOOP_OPTS环境变量中：

export HADOOP_OPTS='-Dtest.build.data=/user/willwu/TestDFSIO'

如果你要改变NameNode GC方式，也可以用这个参数：

export HADOOP_NAMENODE_OPTS="-Xms40960m -XX:+UseConcMarkSweepGC"

HADOOP_ROOT_LOGGER

有时候你想让Hadoop客户端程序打印Debug日志，你需要改变HADOOP_ROOT_LOGGER变量，默认是INFO,console：

export HADOOP_ROOT_LOGGER=DEBUG,console