0637-5.16.1-CDH集群中var目录占用空间大问题分析

Fayson的github： https://github.com/fayson/cdhproject

推荐关注微信公众号：“Hadoop实操”，ID：gh_c4c535955d0f

1 文档编写目的

Fayson今天在观察集群的时候，发现CM节点/var目录使用空间异常的大，使用率达到93% ,为防止目录空间使用满，导致CM界面告警。于是对该目录进行详细分析

• 测试环境

1.CM和CDH版本为CDH 5.16.1

2.操作系统版本为RedHat 7.2

2 问题描述

在CM 节点使用df -h 命令查看，发现/var 目录空间为50G，但是使用率到达93%,于是进入到/var 目录一层层查看，最后找到/var/lib/cloudera-scm-server/commands 目录占用达到惊人的41G

df -h
du -sh *

3 问题分析

首先说下/var/lib/cloudera-scm-server/commands 目录的用途，该目录是用来存放了一些CM的历史执行的命令，以及产生的结果集。而该目录默认保存时长为2年，也就是说，如果2年内执行的历史执行命令和结果集够多，特别是集群够大的时候，那么可能会撑满整个/var 目录，那么如何修改这个目录的默认地址呢和保存时长呢？

如果你使用的浏览器默认是中文，那么在CM >管理>设置>搜索本地数据存储目录可以对默认的目录进行修改，或者在设置中选中高级，可以查看到

如果你使用的浏览器默认是英文，那么在CM >adminstration > Settings> 搜索Local Data Storage Directory 对默认的目录修改或者在设置中选中Advanced

4 总结

为了防止集群的各节点日志目录占用空间过大，除上述描述的参数外， Fayson建议在使用过程中根据自己的集群情况通过CM对节点的各类型的日志目录配置和保留日志的大小或者时长进行合理配置。