Hadoop2.0.0-CDH4.3.0的部署包的文件结构

我是以hadoop-2.0.0-cdh4.3.0为例，相比以前的一些版本目录结构下发生很大变化：

1、现在的结构比以前的要稍微复杂一些了，如下：

[bigdata@Master1 hadoop-2.0.0-cdh4.3.0]$ ls -d 

bin/  cloudera/  etc/  examples/  include/  lib/  libexec/  sbin/  share/  src/

2、外层的启动脚本，都在sbin目录下：

[bigdata@Master1 sbin]$ ls

distribute-exclude.sh         hadoop-setup-conf.sh         httpfs.sh                start-balancer.sh    stop-balancer.sh      update-hdfs-env.sh

hadoop-create-user.sh         hadoop-setup-hdfs.sh         mr-jobhistory-daemon.sh  start-dfs.sh         stop-dfs.sh           yarn-daemon.sh

hadoop-daemon.sh              hadoop-setup-single-node.sh  refresh-namenodes.sh     start-secure-dns.sh  stop-secure-dns.sh    yarn-daemons.sh

hadoop-daemons.sh             hadoop-validate-setup.sh     slaves.sh                start-yarn.sh        stop-yarn.sh

hadoop-setup-applications.sh  hdfs-config.sh               start-all.sh             stop-all.sh          update-hadoop-env.sh

3、内层的被调用脚本，都在bin目录下：

[bigdata@Master1 bin]$ ls

container-executor  hadoop  hdfs  mapred  rcc  yarn

4、Native的so文件都在lib目录下：

[bigdata@Master1 lib]$ ls ./ -R

./:

native

./native:

libhadoop.a   libhadooppipes.a  libhadoop.so.1      libhadooputils.a  libhdfs.la  libhdfs.so.0

libhadoop.la  libhadoop.so      libhadoop.so.1.0.0  libhdfs.a         libhdfs.so  libhdfs.so.0.0.0

5、配置程序文件都放置在libexec目录下：

[bigdata@Master1 libexec]$ ls

hadoop-config.sh  hdfs-config.sh  httpfs-config.sh  mapred-config.sh  yarn-config.sh

6、配置文件都在etc目录，对应以前的conf目录：

[bigdata@Master1 etc]$ ls ./ -R

./:

hadoop

./hadoop:

core-site.xml               hadoop-metrics.properties  httpfs-log4j.properties  log4j.properties        ssl-server.xml.example

hadoop-env.sh               hdfs-site.xml              httpfs-signature.secret  slaves                  yarn-env.sh

hadoop-metrics2.properties  httpfs-env.sh              httpfs-site.xml          ssl-client.xml.example  yarn-site.xml

7、所有的jar包都在share/hadoop目录下面：

    /usr/hadoop/hadoop-2.0.0-cdh4.3.0/share/hadoop

8、sbin目录下的

     a、distribute-exclude.sh

          这个脚本用来将exclude文件分发到各个Namenode上。

     b、hadoop-setup-conf.sh 

          1、这个脚本用来从模板xml配置文件中生成到etc目录下的配置文件。

          2、针对特定的配置文件增加配置项

          3、配置其他多个配置项

     c、httpfs.sh

          1、配置tomcat启动参数

          2、配置httpfs-config.sh

          3、启动tomcat，提供httpfs服务

     d、hadoop-setup-hdfs.sh 

          1、在hdfs空间内添加用户，并为用户构建默认的用户目录

     e、 hadoop-setup-applications.sh

          1、与hadoop-setup-hdfs.sh大致相同，也是用来在hdfs空间中创建目录的，但是是在app目录下创建。

     f、refresh-namenodes.sh

          1、利用dfsadmin对所有的namenodes进行refresh

     g、hdfs-config.sh 

          1、调用libexec/hadoop-config.sh来完成相关的任务

9、libexec目录下的

     a、hadoop-config.sh

          1、设置各种Hadoop启动参数

          2、设置java-home，classpath等

          3、设置各种Hadoop路径

     b、httpfs-config.sh

          1、export所有的tomcat环境运行时需要的参数

     c、hdfs-config.sh

          1、针对hdfs的一个hadoo-conf.sh的包装，所有的工作委托给hadoop-conf.sh来进行

10、mapred-config.sh

          a、针对mapped的一个hadoo-conf.sh的包装，所有的工作委托给hadoop-conf.sh来进行

11、yarn-config.sh

          1、针对yarn的一个hadoo-conf.sh的包装，所有的工作委托给hadoop-conf.sh来进行

12、bin目录下的

     a、hadoop

          1、真正运行java程序的，以前的版本就靠这个来真正call到java程序，但是现在依靠的hdfs和mapred来各自完成自己的

          2、现在的版本主要完成fs的操作以及log操作，RunJar，以及获取log，version等基本任务

     b、hdfs

          1、将dfs的工作在这个脚本内完成

          2、由外层的start/stop-dfs发起调用来完成各个daemon的启动

          3、自身发起调用完成dfsadmin，以及ha管理等

     c、mapred

          1、完成mapreduce的各个功能操作

     d、rcc

          1、作为Hadoop record compiler来完成相关操作

     e、yarn

          1、完成yarn的各项功能操作