CDH6中的各种目录

1、安装目录

1.1 parcels包目录(自己建的)

/opt/cloudera/…

1.2 CDH配置数据库连接信息脚本目录

/opt/cloudera/cm/schema/scm_prepare_database.sh

2、配置文件目录

2.1 service配置文件

/var/run/cloudera-scm-agent/process/
企业版会保存不同版本的配置文件，以支持配置回滚

2.2 client配置文件

/etc/hadoop/conf/
/etc/hive/conf/
/etc/spark/conf
…

3、CM目录

3.1 Service Monitor：

Service Monitor存储了时间序列和健康数据。Impla查询的元数据，Yarn应用的元数据。默认情况下，数据时存储在/var/lib/cloudera-service-monitor/文件夹下。

3.2 Host Monitor：

Host Monitor存储了时间序列和健康数据。默认情况下，数据存储在/var/lib/cloudera-host-monitor/文件夹下。
cloudera官网介绍

3.3 server/agent日志

/var/log/cloudera-scm-server/cloudera-scm-server.log
/var/log/cloudera-scm-agent/cloudera-scm-agent.log

4、具体组件

4.1 Flume

如2.1所述，进入目录/var/run/cloudera-scm-agent/process

cd 160-flume-AGENT/
找到flume.conf文件，里面与CM中配置的内容一致

此外，cloudera-monitor.properties文件中记载了一些agent本身的配置信息，比如host,agent_name,log_dir等

4.2 HDFS

4.2.1 垃圾回收目录
若CDH中配置了垃圾回收机制（默认开启），则删除HDFS文件时，会先放到回收站中，目录为对应用户底下的.Trash目录，例如文件属主是hdfs用户，则删除后文件转移到：hdfs://lion:8020/user/hdfs/.Trash/Current/tmp/logs/test.log

4.3 YARN

yarn除了日志目录外，还有个需要特别注意的，就是缓存数据目录，比如有时候shuffle文件损坏或者有问题，NM启动的时候加载这些缓存文件就会报错，这时候就需要删除这些目录下的文件。
/var/lib/hadoop-yarn/yarn-nm-recovery/nm-aux-services/mapreduce_shufflemapreduce_shuffle_state/
/var/lib/hadoop-yarn/yarn-nm-recovery/nm-aux-services/spark_shuffle/registeredExecutors.ldb/
/var/lib/hadoop-yarn/yarn-nm-recovery/yarn-nm-state/*

5、日志目录

单独把日志目录列一下，方便问题定位：
组件日志：/var/log/
CM agent日志：/var/log/cloudera-scm-agent/
CM server日志：/var/log/cloudera-scm-server/
CM agent进程日志：/var/run/cloudera-scm-agent/process/

其他

/var/log/cloudera-scm-installer : 安装日志目录。
/usr/share/cmf/ : 程序安装目录。
/usr/lib64/cmf/ : Agent程序代码。
/var/lib/cloudera-scm-server-db/data : 内嵌数据库目录。
/usr/bin/postgres : 内嵌数据库程序。
/opt/cloudera/parcels/ : Hadoop相关服务安装目录。
/opt/cloudera/parcel-repo/ : 下载的服务软件包数据，数据格式为parcels。
/opt/cloudera/parcel-cache/ : 下载的服务软件包缓存数据。
/etc/hadoop/* : 客户端配置文件目录。