HDFS操作集锦

1、查看HDFS文件

hadoop dfs -ls /hbase  

2、统计HDFS文件数量、空间大小

      (1)单位未转换

hadoop dfs -count -q /hbase

      (2)按单位转换

hadoop dfs -count -q -h /hbase

3、统计HDFS文件数量

      (1)列出指定目录的下级目录占用空间大小         

hadoop dfs -du -h /hbase

      (2)指定目录所占用总空间大小           

hadoop dfs -du -h -s /hbase

4、HDFS文件移动  

hdfs dfs -mv hdfs://hacluster1/hbase/part-r-1.parquet hdfs://hacluster1/hbase/

4、HDFS文件重命名  

hdfs dfs -mv hdfs://hacluster1/hbase/part-r-1.parquet hdfs://hacluster1/hbase/part-r-2.parquet

5、HDFS文件批量重命名

     新建shell脚本，代码入下：

dir1=/tenant/tanant/tanant2_b/data/datamanager/datamg001/caiji023/wa_wifi_mac/
for dirs in $(hdfs dfs -ls $dir1 | grep -v Found |awk -F "/" '{print $10}')
    do 
    for files in $(hdfs dfs -ls $dir1/$dirs/*.parquet | awk -F "/" '{print $11}')
        do hdfs dfs -mv $dir1/$dirs/$files $dir1/$dirs/"SJH_"$files
    done
done