cloudera manager运维日志 2018.02.27

下午打开cm网页发现问题

运行报黄

分别查看cm2，cm3，cm4节点磁盘使用情况

CM2节点

CM3节点

CM4节点

发现磁盘使用率达到了90%以上，于是对各个文件夹进行排查

发现

dfs文件系统占用空间很大，于是经过查看发现是因为dn文件夹下的数据过大造成了

所以，进入hdfs的web界面，将不需要的文件做了删除

注意：这里是测试机，所以直接删除了，如果是生产上的机器，那么最好将数据文件移动到一个新的硬盘上并在原来的硬盘上做一个软连接链接到新的位置，保证数据不丢失（详细操作见文章底部）

顺便附上之前出现堆转储空间不足解决办法

    

在运维的时候发现几乎所有的角色都在报警告

具体警告如下：

    

于是，对于HBase进行如下修改：

     

各个其他角色节点分别执行对应的操作，修改堆转储文件目录和日志文件目录到较大的盘符下，或者直接将现在的目录做一个软连接，连接到空间大的位置

     

 

 

其他解决办法

系统盘一般不会很大。所以最笨的办法是安装包的路径和各个组件输出路径配置到其他大的目录，但这种方式不利于维护！

我现在都是所有报警目录都做软链接到大的磁盘目录，如，/data目录空间较大，挂了一个2个T的磁盘，可以软链接到这，如 

mv /dfs /data/  ln -s /data/dfs /dfs

注意：不要直接mv ‘/var/run’目录，这个目录会每次自动生成，我都是mv它的子目录 

移动之前需要将相关的服务停掉