Hadoop目录结构

Hadoop目录结构

1. sbin
存放启动或停止hadoop相关服务的脚本
总启动HDFS：
sbin/start-dfs.sh start-all.sh
分别启动：
hadoop-daemons.sh start|stop datanode/namenode/
yarn-daemon.sh start |stop resourcemanager|nodemanager
start-dfs.sh
start-yarn.sh

2. bin
存放对hadoop相关服务（HDFS,YARN）进行操作的脚本

3. etc
hadoop的配置文件目录，存放hadoop的配置文件

(1)core-site.xml:
Hadoop核心全局配置文件，可以其他配置文件中引用该文件中定义的属性，如在hdfs-site.xml及mapred-site.xml中会引用该文件的属性；该文件的模板文件存在于$HADOOP_HOME/src/core/core-default.xml，可将模板文件复制到conf目录，再进行修改。

(2)hadoop-env.sh
Hadoop环境变量

(3)hdfs-site.xml
HDFS配置文件，该模板的属性继承于core-site.xml；该文件的模板文件存于$HADOOP_HOME/src/hdfs/hdfs-default.xml，可将模板文件复制到conf目录，再进行修改

(4)yarn-site.xml
yarn的配置文件，该模板的属性继承于core-site.xml；该文件的模板文件存于$HADOOP_HOME/src/mapred/mapredd-default.xml，
可将模板文件复制到conf目录，再进行修改

(5)slaves
用于设置所有的slave的名称或IP，每行存放一个。如果是名称，那么设置的slave名称必须在/etc/hosts有IP映射配置

4. lib
该目录下存放的是Hadoop运行时依赖的jar包，Hadoop在执行时会把lib目录下面的jar全部加到classpath中

5. logs
该目录存放的是Hadoop运行的日志，查看日志对寻找Hadoop运行错误非常有帮助

6. share
存放hadoop的依赖jar包和文档，文档可以被删除掉