【第22期】观点:IT 行业加班,到底有没有价值?

Hadoop2.0.0-CDH4.3.0的部署包的文件结构

原创 2013年12月02日 10:34:05

我是以hadoop-2.0.0-cdh4.3.0为例,相比以前的一些版本目录结构下发生很大变化:

1、现在的结构比以前的要稍微复杂一些了,如下:

[bigdata@Master1 hadoop-2.0.0-cdh4.3.0]$ ls -d 
bin/  cloudera/  etc/  examples/  include/  lib/  libexec/  sbin/  share/  src/
2、外层的启动脚本,都在sbin目录下:
[bigdata@Master1 sbin]$ ls
distribute-exclude.sh         hadoop-setup-conf.sh         httpfs.sh                start-balancer.sh    stop-balancer.sh      update-hdfs-env.sh
hadoop-create-user.sh         hadoop-setup-hdfs.sh         mr-jobhistory-daemon.sh  start-dfs.sh         stop-dfs.sh           yarn-daemon.sh
hadoop-daemon.sh              hadoop-setup-single-node.sh  refresh-namenodes.sh     start-secure-dns.sh  stop-secure-dns.sh    yarn-daemons.sh
hadoop-daemons.sh             hadoop-validate-setup.sh     slaves.sh                start-yarn.sh        stop-yarn.sh
hadoop-setup-applications.sh  hdfs-config.sh               start-all.sh             stop-all.sh          update-hadoop-env.sh
3、内层的被调用脚本,都在bin目录下:
[bigdata@Master1 bin]$ ls
container-executor  hadoop  hdfs  mapred  rcc  yarn
4、Native的so文件都在lib目录下:
[bigdata@Master1 lib]$ ls ./ -R
./:
native
./native:
libhadoop.a   libhadooppipes.a  libhadoop.so.1      libhadooputils.a  libhdfs.la  libhdfs.so.0
libhadoop.la  libhadoop.so      libhadoop.so.1.0.0  libhdfs.a         libhdfs.so  libhdfs.so.0.0.0
5、配置程序文件都放置在libexec目录下:
[bigdata@Master1 libexec]$ ls
hadoop-config.sh  hdfs-config.sh  httpfs-config.sh  mapred-config.sh  yarn-config.sh
6、配置文件都在etc目录,对应以前的conf目录:
[bigdata@Master1 etc]$ ls ./ -R
./:
hadoop
./hadoop:
core-site.xml               hadoop-metrics.properties  httpfs-log4j.properties  log4j.properties        ssl-server.xml.example
hadoop-env.sh               hdfs-site.xml              httpfs-signature.secret  slaves                  yarn-env.sh
hadoop-metrics2.properties  httpfs-env.sh              httpfs-site.xml          ssl-client.xml.example  yarn-site.xml
7、所有的jar包都在share/hadoop目录下面:
    /usr/hadoop/hadoop-2.0.0-cdh4.3.0/share/hadoop
8、sbin目录下的
     a、distribute-exclude.sh
          这个脚本用来将exclude文件分发到各个Namenode上。
     b、hadoop-setup-conf.sh 
          1、这个脚本用来从模板xml配置文件中生成到etc目录下的配置文件。
          2、针对特定的配置文件增加配置项
          3、配置其他多个配置项
     c、httpfs.sh
          1、配置tomcat启动参数
          2、配置httpfs-config.sh
          3、启动tomcat,提供httpfs服务
     d、hadoop-setup-hdfs.sh 
          1、在hdfs空间内添加用户,并为用户构建默认的用户目录
     e、 hadoop-setup-applications.sh
          1、与hadoop-setup-hdfs.sh大致相同,也是用来在hdfs空间中创建目录的,但是是在app目录下创建。
     f、refresh-namenodes.sh
          1、利用dfsadmin对所有的namenodes进行refresh
     g、hdfs-config.sh 
          1、调用libexec/hadoop-config.sh来完成相关的任务
9、libexec目录下的
     a、hadoop-config.sh
          1、设置各种Hadoop启动参数
          2、设置java-home,classpath等
          3、设置各种Hadoop路径
     b、httpfs-config.sh
          1、export所有的tomcat环境运行时需要的参数
     c、hdfs-config.sh
          1、针对hdfs的一个hadoo-conf.sh的包装,所有的工作委托给hadoop-conf.sh来进行
10、mapred-config.sh
          a、针对mapped的一个hadoo-conf.sh的包装,所有的工作委托给hadoop-conf.sh来进行
11、yarn-config.sh
          1、针对yarn的一个hadoo-conf.sh的包装,所有的工作委托给hadoop-conf.sh来进行
12、bin目录下的
     a、hadoop
          1、真正运行java程序的,以前的版本就靠这个来真正call到java程序,但是现在依靠的hdfs和mapred来各自完成自己的
          2、现在的版本主要完成fs的操作以及log操作,RunJar,以及获取log,version等基本任务
     b、hdfs
          1、将dfs的工作在这个脚本内完成
          2、由外层的start/stop-dfs发起调用来完成各个daemon的启动
          3、自身发起调用完成dfsadmin,以及ha管理等
     c、mapred
          1、完成mapreduce的各个功能操作
     d、rcc
          1、作为Hadoop record compiler来完成相关操作
     e、yarn
          1、完成yarn的各项功能操作

版权声明:本文为博主原创文章,未经博主允许不得转载。 举报

相关文章推荐

CDH4.1(hadoop-2.0.0-cdh4.1.2)安装部署文档

1. 环境说明         Hadoop的版本选用的hadoop-2.0.0-cdh4.1.2,此版本的hadoop增加了诸如热备等许多新功能。是Cloudera在hadoop0.23基础上改造...

独家 安装 Hadoop 2.0.0-cdh4.3.0 LZO 成功

在经历过忍饥挨饿、老眼昏花的深夜加班,最后扛不住没搞定,今天周六,再次来从新梳理思路和审核每一步操作,最终苍天终不负,让我搞定了LZO的安装,使集群间lzo文件的对拷和读写成为现实。期间,重启集群不下30遍,甚至一度丢掉了所有文件(测试环境),重新格式化。真心不容易,同时我很喜悦!因此,只要坚持和努...

程序员升职加薪指南!还缺一个“证”!

CSDN出品,立即查看!

CDH4.1(hadoop-2.0.0-cdh4.1.2)安装部署文档

1. 环境说明 Hadoop的版本选用的hadoop-2.0.0-cdh4.1.2,此版本的hadoop增加了诸如热备等许多新功能。是Cloudera在hadoop0.23基础上改造的,并且把部分功能一起贡献给了Apache。目前Apache Hadoop最新的版本是hadoop-2.0....

Hadoop-CDH4的部署包的文件结构

转帖请注明本空间地址:http://blog.csdn.net/chenpingbupt  相关文档可参: https://issues.apache.org/jira/brows...

zookeeper-3.4.5-cdh4.3.0分布式部署

环境描述: zookeeper-3.4.5-cdh4.3.0 192.168.38.45 192.168.38.58 192.168.38.60  配置步骤: 1.解压: tar -zxvf zookeeper-3.4.5-cdh4.3.0.tar.gz 2.$ZK_H
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)