1、CDH目录汇总
/var/log/cloudera-scm-installer : 安装日志目录。
/var/log/* : 相关日志文件(相关服务的及CM的)。
/usr/share/cmf/ : 程序安装目录。
/usr/lib64/cmf/ : Agent程序代码。
/var/lib/cloudera-scm-server-db/data : 内嵌数据库目录。
/usr/bin/postgres : 内嵌数据库程序。
/etc/cloudera-scm-agent/ : agent的配置目录。
/etc/cloudera-scm-server/ : server的配置目录。
/opt/cloudera/parcels/ : Hadoop相关服务安装目录。
/opt/cloudera/parcel-repo/ : 下载的服务软件包数据,数据格式为parcels。
/opt/cloudera/parcel-cache/ : 下载的服务软件包缓存数据。
/etc/hadoop/* : 客户端配置文件目录。
2、CM详解
2.1 Service Monitor:
Service Monitor存储了时间序列和健康数据。Impla查询的元数据,Yarn应用的元数据。默认情况下,数据时存储在/var/lib/cloudera-service-monitor/文件夹下。
2.2 Host Monitor:
Host Monitor存储了时间序列和健康数据。默认情况下,数据存储在/var/lib/cloudera-host-monitor/文件夹下。
2.3 server/agent配置目录
/etc/cloudera-scm-agent/config.ini cm agent的配置目录
/etc/cloudera-scm-server/ cm server的配置目录
2.4 server/agent日志目录
/var/log/cloudera-scm-server/cloudera-scm-server.log CDH服务端日志
/var/log/cloudera-scm-agent/cloudera-scm-agent.log CDH客户端日志
2.5 Parcels包安装目录
2.5.1 服务软件包数据(parcels)
/opt/cloudera/parcel-repo/
2.5.2 服务软件包缓存数据
/opt/cloudera/parcel-cache/
2.6 CDH配置数据库连接信息脚本目录
/opt/cloudera/cm/schema/scm_prepare_database.sh
3、CDH安装路径
/opt/cloudera/parcels/CDH
4、CDH组件详解
4.1 组件安装目录
/opt/cloudera/parcels/CDH/lib
4.2 组件配置路径
/etc/组件名/conf
例如:
/etc/hadoop/conf Hadoop各个组件的配置
/etc/hive/conf hive配置文件目录
/etc/hbase/conf hbase配置文件目录
/opt/cloudera/parcels/CDH/etc是hadoop集群以及组件的配置文件文件夹
4.3 组件shell客户端命令
/opt/cloudera/parcels/CDH/bin
4.4 组件日志目录
/var/log/下面有对应节点所开启服务的日志
其中
hadoop-hdfs hadoop日志目录
hadoop-mapreduce
hadoop-yarn
hbase hbase日志目录
hive hive日志目录
zookeeper zookeeper日志目录
4.5 服务运行时所有组件的配置文件目录[各组件运行时,实际的配置文件路径]
/var/run/cloudera-scm-agent/process/
CDH的相关组件在CM界面上更改配置是不会立即反映到配置文件中,这些信息会存储于数据库中,等下次重启服务时才会生成配置文件。且每次启动时都会产生新的配置文件。
在此路径下,通过log4j.properties, 可以看到对应的日志文件路径。
HDFS重启时,也会动态生成相关配置路径
如:core-site.xml,hdfs-site.xml,log4j.properties
/run/cloudera-scm-agent/process/76-hdfs-DATANODE
启动时stderr,stdout输出日志路径就在此目录下log路径查看。
Kafka重启时,每次都会动态生成下述目录,99 每次递增(数字根据各类事件顺序递增). 目录下会根据最新的配置文件,产生相关配置文件。
如kafka.properties, kafka-monitor.properties以及日志log4j.properites
/run/cloudera-scm-agent/process/99-kafka-KAFKA_BROKER
log4j.properites配置了broker日志路径: /var/log/kafka/kafka-broker-hadoop001.log
HIVESERVER2:
/var/run/cloudera-scm-agent/process/248-hive-HIVESERVER2
5、solr日志位置
tail -f /var/log/solr/solr-cmf-solr-SOLR_SERVER-...(hostname).log.out
6、jar包目录
6.1 所有jar包所在目录
/opt/cloudera/parcels/CDH/jars
6.2 各个服务组件对应的jar包
/opt/cloudera/parcels/CDH/lib/
例如sqoop:/opt/cloudera/parcels/CDH/lib/sqoop/lib