Hadoop2.0.0-CDH4.3.0的部署包的文件结构

原创 2013年12月02日 10:34:05

我是以hadoop-2.0.0-cdh4.3.0为例,相比以前的一些版本目录结构下发生很大变化:

1、现在的结构比以前的要稍微复杂一些了,如下:

[bigdata@Master1 hadoop-2.0.0-cdh4.3.0]$ ls -d 
bin/  cloudera/  etc/  examples/  include/  lib/  libexec/  sbin/  share/  src/
2、外层的启动脚本,都在sbin目录下:
[bigdata@Master1 sbin]$ ls
distribute-exclude.sh         hadoop-setup-conf.sh         httpfs.sh                start-balancer.sh    stop-balancer.sh      update-hdfs-env.sh
hadoop-create-user.sh         hadoop-setup-hdfs.sh         mr-jobhistory-daemon.sh  start-dfs.sh         stop-dfs.sh           yarn-daemon.sh
hadoop-daemon.sh              hadoop-setup-single-node.sh  refresh-namenodes.sh     start-secure-dns.sh  stop-secure-dns.sh    yarn-daemons.sh
hadoop-daemons.sh             hadoop-validate-setup.sh     slaves.sh                start-yarn.sh        stop-yarn.sh
hadoop-setup-applications.sh  hdfs-config.sh               start-all.sh             stop-all.sh          update-hadoop-env.sh
3、内层的被调用脚本,都在bin目录下:
[bigdata@Master1 bin]$ ls
container-executor  hadoop  hdfs  mapred  rcc  yarn
4、Native的so文件都在lib目录下:
[bigdata@Master1 lib]$ ls ./ -R
./:
native
./native:
libhadoop.a   libhadooppipes.a  libhadoop.so.1      libhadooputils.a  libhdfs.la  libhdfs.so.0
libhadoop.la  libhadoop.so      libhadoop.so.1.0.0  libhdfs.a         libhdfs.so  libhdfs.so.0.0.0
5、配置程序文件都放置在libexec目录下:
[bigdata@Master1 libexec]$ ls
hadoop-config.sh  hdfs-config.sh  httpfs-config.sh  mapred-config.sh  yarn-config.sh
6、配置文件都在etc目录,对应以前的conf目录:
[bigdata@Master1 etc]$ ls ./ -R
./:
hadoop
./hadoop:
core-site.xml               hadoop-metrics.properties  httpfs-log4j.properties  log4j.properties        ssl-server.xml.example
hadoop-env.sh               hdfs-site.xml              httpfs-signature.secret  slaves                  yarn-env.sh
hadoop-metrics2.properties  httpfs-env.sh              httpfs-site.xml          ssl-client.xml.example  yarn-site.xml
7、所有的jar包都在share/hadoop目录下面:
    /usr/hadoop/hadoop-2.0.0-cdh4.3.0/share/hadoop
8、sbin目录下的
     a、distribute-exclude.sh
          这个脚本用来将exclude文件分发到各个Namenode上。
     b、hadoop-setup-conf.sh 
          1、这个脚本用来从模板xml配置文件中生成到etc目录下的配置文件。
          2、针对特定的配置文件增加配置项
          3、配置其他多个配置项
     c、httpfs.sh
          1、配置tomcat启动参数
          2、配置httpfs-config.sh
          3、启动tomcat,提供httpfs服务
     d、hadoop-setup-hdfs.sh 
          1、在hdfs空间内添加用户,并为用户构建默认的用户目录
     e、 hadoop-setup-applications.sh
          1、与hadoop-setup-hdfs.sh大致相同,也是用来在hdfs空间中创建目录的,但是是在app目录下创建。
     f、refresh-namenodes.sh
          1、利用dfsadmin对所有的namenodes进行refresh
     g、hdfs-config.sh 
          1、调用libexec/hadoop-config.sh来完成相关的任务
9、libexec目录下的
     a、hadoop-config.sh
          1、设置各种Hadoop启动参数
          2、设置java-home,classpath等
          3、设置各种Hadoop路径
     b、httpfs-config.sh
          1、export所有的tomcat环境运行时需要的参数
     c、hdfs-config.sh
          1、针对hdfs的一个hadoo-conf.sh的包装,所有的工作委托给hadoop-conf.sh来进行
10、mapred-config.sh
          a、针对mapped的一个hadoo-conf.sh的包装,所有的工作委托给hadoop-conf.sh来进行
11、yarn-config.sh
          1、针对yarn的一个hadoo-conf.sh的包装,所有的工作委托给hadoop-conf.sh来进行
12、bin目录下的
     a、hadoop
          1、真正运行java程序的,以前的版本就靠这个来真正call到java程序,但是现在依靠的hdfs和mapred来各自完成自己的
          2、现在的版本主要完成fs的操作以及log操作,RunJar,以及获取log,version等基本任务
     b、hdfs
          1、将dfs的工作在这个脚本内完成
          2、由外层的start/stop-dfs发起调用来完成各个daemon的启动
          3、自身发起调用完成dfsadmin,以及ha管理等
     c、mapred
          1、完成mapreduce的各个功能操作
     d、rcc
          1、作为Hadoop record compiler来完成相关操作
     e、yarn
          1、完成yarn的各项功能操作

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

CDH4.1(hadoop-2.0.0-cdh4.1.2)安装部署文档

1. 环境说明         Hadoop的版本选用的hadoop-2.0.0-cdh4.1.2,此版本的hadoop增加了诸如热备等许多新功能。是Cloudera在hadoop0.23基础上改造...
  • can007
  • can007
  • 2012-11-23 22:42
  • 3941

hadoop-2.0.0-cdh4.5.0安装

1、创建hadoop用户【所有操作都是root,在所有master和slaver上】 1)、创建hadoop用户:adduser hadoop 2)、更换密码:passwd hadoop ======...

ganglia3.6.0 监控 Hadoop 2.0.0-cdh4.2.0

1. 安装软件包,yum方式,源码方式以后再研究. yum ganglia-gmetad
  • ljq32
  • ljq32
  • 2014-07-10 18:18
  • 1682

hadoop-2.0.0-cdh4.7.0伪分布式安装,mapreduce例子执行

安装包已经分享到我的百度云盘(http://pan.baidu.com/s/1bn9zkZX)

搭建hadoop-dist-2.0.0-cdh4.2.0开发测试环境

项目中用到的版本是hadoop-dist-2.0.0-cdh4.2.0,因此在虚拟机上搭了一个2.0的环境。 hadoop的开发测试环境一般来说分3种: 单机版:不配置任何配置文件,仅用来开发和调试 ...

hadoop-2.0.0-cdh4.2.1安装手册

1. 角色分配: ocdata16: 10.1.253.26 :NameNode JournalNode Zookeeper DFSZKFailoverController ocdata17:...

sqoop-1.4.3-cdh4.5.0+hadoop-2.0.0-cdh4.5.0出现找不到mysql驱动异常原理解析

sqoop import --connect jdbc:mysql://ip:3306/库名 --table 表名 --username 用户名 --password 密码 异常: 14/03/2...

cloudera CDH5 Hadoop集群全套安装部署流程

本文详细地写了如何用virtualbox虚拟机虚拟出两个节点并搭建Hadoop集群。 借助cloudera manager完成集群的搭建。 包括虚拟机安装Linux后的配置和克隆虚拟机的网卡配置, 时...

fuse挂载hadoop2.0.0文件系统hdfs到本地

一、环境配置       1.主机系统:RedHat Enterprise Linux 6.1 (X86_64)          ...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)