【大数据】hadoop查看指定目录最大的五个文件(文件夹算总体的一个文件)

hadoop查看指定目录最大的五个文件(文件夹算总体的一个文件)

场景：
在hadoop不同版本多次尝试查看最大的几个文件后总结出最终版本。

解决：
系统       CentOS7.6

[hadoop@hd hadoop]$ hadoop fs -du / | sort -nr | head -n 5                   --查看/目录下最大的五个文件，其中mmtst为文件夹
426459642  /mmtst                                  
10126906   /apache-tomcat-8.5.30.zip
8824528    /apache-tomcat-7.0.62.tar.gz
165831     /stylers.model.xml
57945      /functionList.xml

注：
1.因-du还没有排序的功能，只能借助Linux系统里的sort排序功能；
2.一开始考虑将文件的具体单位列出来，但后来发现在某些特殊的场景下并没有达到想要的排序效果；
3.在hadoop2.6.0和hadoop2.9.2版本下亲测，但因文件数量有限，有可能还没有测到某些特殊的情况；