【大数据】hadoop环境下如何将某文件夹下的文件按大小排序---顺序(查看某文件夹下最大的文件名)

最新推荐文章于 2024-08-12 03:09:45 发布

debimeng

最新推荐文章于 2024-08-12 03:09:45 发布

阅读量5.6k

点赞数

分类专栏：大数据文章标签： hadoop查看文件夹目录下最大的几个文件名文件排序

本文链接：https://blog.csdn.net/debimeng/article/details/88880111

版权

本文介绍了在Hadoop环境下如何通过`hadoop fs -ls`命令结合参数，按照文件大小顺序列出文件夹下的文件，以方便查看最大的几个文件。通过使用`-h`显示人性化大小，`-S`按大小排序，`-r`逆序或不加该参数顺序排序。配合`head`命令，可以进一步限制显示的最大文件数量。

摘要由CSDN通过智能技术生成

hadoop环境下如何将某文件夹下的文件按大小排序---顺序(查看某文件夹下最大的文件名)

场景：
因平时经常需要知道hadoop文件系统里最大的文件有哪几个，故特此查找了一下命令。

解决：

hadoop版本：2.9.2(版本需要特别注意，因为低版本的有可能还没有那么多功能)

查看-ls的使用方法：hadoop fs -ls --help
Usage: hadoop fs [generic options] -ls [-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u] [<path> ...]

举个栗子：查看/目录下最大的几个文件名(不包含文件夹)

1.日常使用-ls查看的情况

[root@hd2901 test]# hdfs dfs -ls /
Found 7 items
-rw-r--r--   2 root supergroup    8824528 2019-03-29 05:53 /apache-tomcat-7.0.62.tar.gz
-rw-r--r--   2 root supergroup   10126906 2019-03-29 05:53 /apache-tomcat-8.5.30.zip
-rw-r--r--   2 root supergroup       3596 2019-03-29 05:58 /contextMenu.xml
-rw-r--r