CDH磁盘爆满之后的调整和问题

1.大占用量的文件处理
①这次找到的大占用量的文件是因为之前在开启flume的时候采用了后台启动进程的方法,导致在flume的运行过程中产生了总计300G的日志文件,主要是使用了nohup这个方式,以后避免在生产过程中采用nohup方法,从而避免产生nohup很大日志的失误.
②这次在解决过程中出现了一个操作失误,nohup文件不应该直接采用rm -rf的命令直接删除,这种操作很容易产生因为文件路径失效的原因导致组件或服务起不来的状况.应该采用echo命令echo " "> 文件名直接把文件置空,这种方式可以避免路径丢失的问题.
③删除后的文件因为正在被读,所以没有办法直接将文件删除,所以在这里,需要先将读取日志的组件停掉,才可以顺利删除.

netstat -anput |grep 端口号

2.CDH-server启动问题
在删除掉大量文件之后,发现CDH无法启动,这里找了很久之后才找到问题.CDH的server的pid文件出现问题导致无法启动.
在/opt/cloudera-manager/cm-5.16.1/run/这个路径下面,进去找到server的pid文件和agent的pid,打开之后把pid文件输入一个五位数的字符串,假装一个端口号,之后重启就成功了.
或者也可以把pid文件删除后重启,这里会自动创建.
为了避免在后面使用过程中出现找不到pid文件,建议选用第一种方法.