查看hadoop下文件列表并按日期排序

查看hadoop下文件列表并按日期排序

hadoop fs -ls 目录| sort -r -k6,7

按大小排序

hadoop fs -ls 目录| sort -nr -k5

-n 数值类型排序 -r 指定为倒序 -k 指定排序字段所在的列

如du指定了-h，进行排序时需将-n改为-h

hdfs fs -du输出size信息中数字和单位间存在空格，所以sort -k1其实只取了数字那一列

hadoop fs -du -h 目录 | egrep -v '^0' | sed 's/\([0-9.]\)\( \)\(.*\)/\1\3/g' | sort -rhk1