Hadoop-2.4.1学习之配置管理Hadoop

      Hadoop-2.X较Hadoop-1.X有了很大的变化，比如YARN将JobTracker的两个主要功能资源管理和作业调度监控分开为独立的后台进程，配置文件及参数也有了很大变化，目录结构的调整等。另外在Hadoop-2.X版本中，通常专门指定一台主机为NameNode，另一台主机做为ResourceManager，这两台主机为masters，集群中剩余的主机既做为DataNode也做为NodeManager，为slaves，这也与Hadoop-1.X中不同。

      Hadoop-2.X有两种类型的配置文件，一种为只读的默认的配置文件，分别为core-default.xml，hdfs-default.xml，yarn-default.xml 和mapred-default.xml。另一种为不同模块的特定配置文件，分别为etc/hadoop/core-site.xml，etc/hadoop/hdfs-site.xml，etc/hadoop/yarn-site.xml和etc/hadoop/mapred-site.xml。另外还可以通过etc/hadoop/hadoop-env.sh和etc/hadoop/yarn-env.sh对执行环境，如：配置文件存放目录，日志目录，Java堆大小等进行配置管理。下面将从Hadoop守护进程的运行环境和守护进程的配置管理参数两方面学习Hadoop的配置管理。

配置管理守护进程的运行环境

      正如上面提到了可以通过etc/hadoop/hadoop-env.sh和etc/hadoop/yarn-env.sh对Hadoop守护进程的执行环境进行定制。在hadoop-env.sh中至少需要正确设置JAVA_HOME为java的安装目录，否则会出现如下的错误：

[