HDFS 常用shell命令大全

cat命令

// 查看文件所有行的数据
hadoop fs -cat filename

// 查看总行数
hadoop fs -cat filename | wc -l

// 查看.gz文件
hadoop fs -cat filename | zcat

// (按空格)翻页查看
hadoop fs -cat filename ｜ more

// 查看从第s行开始的k行数据
hadoop fs -cat filename | tail -n +s | head -n k

// 将多个不同位置的文件合并成一个文件，不考虑源文件中数据格式是否相同
hadoop fs -cat /user/hadoop/file1 /user/hadoop/file2 ... | hadoop fs -put - /user/hadoop/mergedfile

// 将HDFS上同一目录下的所有文件合并成一个文件
hadoop fs -cat /user/hadoop/dir/* | hadoop fs -put - /user/hadoop/mergedfile

text命令

// 查看HDFS上的普通文本文件、压缩文件
hadoop fs -text filename

touchz命令

// 创建0字节的空文件
hadoop fs -touchz filename

rm命令

// 删除文件
hadoop fs -rm filename

// 递归删除目录包括目录下的所有文件
hadoop fs -rm -r dirname

rmdir命令

// 删除空目录
hadoop fs -rmdir empty_dir

put命令

// 从本地文件系统中复制单个或多个源文件到目标文件系统
hadoop fs -put localfile /user/hadoop/hadoopfile

get命令

// 复制文件到本地文件系统
hadoop fs -get /user/hadoop/file localfile

getmerge命令

// 将源目录中所有的文件连接成本地目标文件
hadoop fs -get /user/hadoop/dir localfile

cp命令

// 将单个或多个文件从源路径复制到目标路径
hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir

du命令

// 显示目录中所有文件的大小
hadoop fs -du /user/hadoop/dir

// 加-h使其以K、M、G的形式显示
hadoop fs -du -h /user/hadoop/dir

// 显示目录的总大小
hadoop fs -du -h -s /user/hadoop/dir

df命令

// 查看根目录下磁盘空间使用情况，包括总空间，已用空间，剩余空间
hadoop fs -df -h /

ls命令

// 目录直接子文件的一个列表
hadoop fs -ls /user/hadoop/dir

// 递归访问目录
hadoop fs -ls -r /user/hadoop/dir

mkdir命令

// 创建空目录
hadoop fs -mkdir /user/hadoop/dir

mv命令

// 移动文件或者修改文件/目录名
hadoop fs -mv /user/hadoop/from_dir  /user/hadoop/to_dir

find命令

-name 对大小写不敏感
-iname 对大小写敏感
-print 换行打印
-print0 打印在一行
注：search_filename中可以使用*代替不确定部分

// 在给定目录search_dir下查找与命令中文件名search_filename相匹配的所有文件
hadoop fs -find /user/hadoop/search_dir -name search_filename -print

参考链接.