hadoop集群环境部署之shell

【这里记录一下，环境中遇到的一些有用的解决特定问题的shell】

1、如果集群中使用到了chukwa搜集数据，又需要导入hive进行分析，因为load之后，chukwa目录中会留下许多空目录，白白耗费namenode内存

function clear_empty(){
list=`hadoop dfs -du $CHUKWA_DIR/$1 |awk -F " " '$1=={print $2}'`
for item in $list
do
        hadoop dfs -rmr $item
done
}

可以定时执行以上脚本，便可清理空目录，参数可以自己控制