HDFS查看文件大小以及统计 总和

查看文件夹下 各个目录的总大小（兆或者是G）：hdfs dfs -du -h /flumedfsfs_cluster/c_wechat_mpdfsfsffse/

 

查看每个文件大小（默认是Byte）hadoop fs -du /datsdsfsda/servicfsdfsdfse_data/sdfsdd/fdsfsdfsd/c_wedfsfsdfschat_mpe/

 

查看的每个文件大小（计算的是G单位的）hadoop fs -du /name/service_fsdfsdfsddata/hadoopfdsfs_dfsfsdservie/flume_cfsdfsdfsdluster/wefsdfsfsdfsdchat_log/20* | awk '{sum += $1};END {print sum/1024/1024/1024}'

 

 

AWK案例：

在Shell中，我们可以用awk实现按列求和的功能，非常简单。看下面的例子：
1.简单的按列求和

[linux@test /tmp]$ cat test
123.52
125.54
126.36
[linux@test /tmp]$ awk '{sum += $1};END {print sum}' test
375.42

2.对符合某些条件的行，按列求和

[linux@test /tmp]$ cat test
aaa 123.52
bbb 125.54
aaa 123.52
aaa 123.52
ccc 126.36

对文件test中 第一列为aaa的行求和

[linux@test /tmp]$ awk '/aaa/ {sum += $2};END {print sum}' test
370.56