文章来源:http://blog.csdn.net/cuilanbo/article/details/8469938
我们最近遇到一个问题,hdfs硬盘空间不足。各位有没有遇到类似的问题呢?
仔细分析了一下,发现hdfs下有这样一类文件,留之无大用,弃之可惜。
比如说最原始的日志文件........
本来留下他是用来做保险的,但是不一定能用的上,并且占据很大空间。
想想这样的文件该怎么处理好呢?
于是乎 诞生了一个想法,把这一类的数据备份数改小,由3改为2,这样能剩下1份的空间。
用到了这个命令:hadoop fs -setrep 2 XXXX(文件名)
神器啊!!!
元芳,你觉得呢?