Hadoop 命令操作大全

Hadoop 命令操作大全

hdfs dfs -help 列出可操作命令如下：

Usage: hadoop fs [generic options]
        [-appendToFile <localsrc> ... <dst>]
        [-cat [-ignoreCrc] <src> ...]
        [-checksum <src> ...]
        [-chgrp [-R] GROUP PATH...]
        [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
        [-chown [-R] [OWNER][:[GROUP]] PATH...]
        [-copyFromLocal [-f] [-p] [-l] <localsrc> ... <dst>]
        [-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
        [-count [-q] [-h] [-v] <path> ...]
        [-cp [-f] [-p | -p[topax]] <src> ... <dst>]
        [-createSnapshot <snapshotDir> [<snapshotName>]]
        [-deleteSnapshot <snapshotDir> <snapshotName>]
        [-df [-h] [<path> ...]]
        [-du [-s] [-h] <path> ...]
        [-expunge]
        [-find <path> ... <expression> ...]
        [-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
        [-getfacl [-R] <path>]
        [-getfattr [-R] {-n name | -d} [-e en] <path>]
        [-getmerge [-nl] <src> <localdst>]
        [-help [cmd ...]]
        [-ls [-d] [-h] [-R] [<path> ...]]
        [-mkdir [-p] <path> ...]
        [-moveFromLocal <localsrc> ... <dst>]
        [-moveToLocal <src> <localdst>]
        [-mv <src> ... <dst>]
        [-put [-f] [-p] [-l] <localsrc> ... <dst>]
        [-renameSnapshot <snapshotDir> <oldName> <newName>]
        [-rm [-f] [-r|-R] [-skipTrash] <src> ...]
        [-rmdir [--ignore-fail-on-non-empty] <dir> ...]
        [-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <pa
th>]]
        [-setfattr {-n name [-v value] | -x name} <path>]
        [-setrep [-R] [-w] <rep> <path> ...]
        [-stat [format] <path> ...]
        [-tail [-f] <file>]
        [-test -[defsz] <path>]
        [-text [-ignoreCrc] <src> ...]
        [-touchz <path> ...]
        [-usage [cmd ...]]

1. -appendToFile [localsrc] [dst] 将本地文件localsrc追加到hdfs的dst文件中，如果dst文件不存在，则创建。
   eg：hdfs dfs -appendToFile /home/t2.txt /user/hdfs/gpl/t2.txt
2. -cat [dst]显示文件内容
   eg:hdfs dfs -cat /user/hdfs/gpl/t2.txt

3. -checksum [dst] 为匹配文件模式dst到stdou的文件转储校验和信息
   eg：hdfs dfs -checksum /user/hdfs/gpl/t2.txt
   

4. -chgrp [-R] GROUP PATH 相当与-chown
   eg：hdfs dfs -chgrp hdfs /user/hdfs/gpl/t2.txt

5. -chmod 更改文件的权限，与shell的chmod命令类似
   eg：hdfs dfs -chmod 777 /user/hdfs/gpl/t2.txt
6. -chown 更改文件所属者
   eg：hdfs dfs -chown hdfs /user/hdfs/gpl/tx.txt
7. -copyFromLocal [localsrc] [dst] 将本地文件上传到hdfs目录
   eg:hdfs dfs -copyFromLocal /home/t2.txt /user/hdfs/gpl/
8. -copyToLocal [dst] [localsrc] 将hdfs文件下载到本地
   eg:hadoop fs -copyToLocal /user/hdfs/data2/ip=10.69.2.3/logfile_localhost.lo
   caldomain_1531106559.txt /home/
9. -count 查看目录下，子目录数[-q]、文件数[-h]、文件大小[-v]、文件名/目录名[dst]
   eg: hdfs dfs -count /user/hdfs/gpl
   
10. -cp SRC [SRC …] DST 将文件从SRC复制到DST，如果指定了多个SRC，则DST必须为一个目录
    eg: hdfs dfs -cp /user/hdfs/data2/ip=10.69.2.3/logfile_localhost.loc
    aldomain_1531106600.txt /user/hdfs/gpl/
11. -createSnapshot [snapshotDir] [snapshotName] 在目录上创建快照
    eg：hdfs dfs -createSnapshot /user/hdfs/gpl/ kz
    .
12. -deleteSnapshot [snapshotDir][snapshotName] 在目录上删除快照
    eg：hdfs dfs -deleteSnapshot /user/hdfs/gpl/kz
13. -df 显示文件系统的容量、空闲空间和使用空间
    eg:hdfs dfs -df /user/hdfs/gpl
    
14. -du 显示该目录中每个文件或目录的大小
    eg: hdfs dfs -du -s -h /user/hdfs
    
15. -expunge 清空回收站，文件被删除时，它首先会移到临时目录.Trash/中，当超过延迟时间之后，文件才会被永久删除
    eg: hdfs dfs -expunge
16. -find 查找与指定表达式匹配的所有文件
    eg:hdfs dfs -find /user/hdfs -name t2.txt
17. -get 将hdfs文件下载到本地与-copyToLocal 类似
    eg：hadoop fs -get /user/hdfs/data2/ip=10.69.2.3/logfile_localhost.lo
    caldomain_1531106559.txt /home/
18. -getfacl [-R] [path] 显示文件和目录的访问控制列表(acl)。如果一个
    目录有一个默认的ACL，然后getfacl也显示默认的ACL。
    eg:hdfs dfs -getfacl /user/hdfs
    
19. -getfattr 显示文件或的扩展属性名和值(如果有的话)
20. -getmerge [src] [localdst] 将hdfs的多个文件合并后下载到本地
    eg：hsfs dfs -getmerge /user/hdfs/data2/ip=10.69.2.3/ /home/ip.txt
21. • help 帮助命令，列出可操作命令

22. -ls 列出指定目录下的文件或目录
    eg：hdfs dfs -ls /user/hdfs

23. -mkdir 创建目录
    eg：hdfs dfs -mkdir /user/hdfs/test

24. -moveFromLocal [localsrc] … [dst] 本地文件系统复制文件到HDFS文件系统后删除本地文件
    eg：hdfs dfs -moveFromLocal /home/md.txt /user/hdfs/gpl
    25.-moveToLocal [src] [localdst] 未实现

25. -mv [src] [dst] 将匹配指定文件模式src的文件移动到目标dst,在移动多个文件时，目标必须是一个目录。
    eg:hdfs dfs -mv /user/hdfs/gpl/mft5.txt /user/hdfs/gpl/mft.txt

26. -put [localsrc] [dst] 本地文件系统复制文件到HDFS文件系统与，与-copyFromLocal类似
27. -renameSnapshot [snapshotDir][oldName] [newName] 快照重命名
28. -rm 删除 ，与shell的rm命令类似
    eg: hdfs dfs -rm -r /user/hdfs/gpl/mtf.txt
29. -rmdir [dir] 删除指定的dir目录项
    eg: hdfs dfs -rmdir /user/hdfs/test
30. -setfacl 设置文件和目录的访问控制列表(acl)。
31. -setfattr 设置文件或目录的扩展属性名和值。
32. -setrep 设置文件的复制级别
33. -stat [format] path 以指定格式打印文件/目录的统计信息,其中，%b-块、%g-所属组 、%n-文件名、%o块大小、%u用户名
    eg：hdfs dfs -stat [%b-%g-%n-%o-%r-%u-%y:%Y] /user/hdfs/gpl
    

34. -tail [-f] path Show the last 1KB of the file
    eg:hdfs dfs -tail /user/hdfs/gpl/t2.txt

35. -test -[defsz] path 回答关于path的各种问题，结果通过退出状态。
    

36. -text 获取源文件并以文本格式输出该文件。允许的格式是zip和TextRecordInputStream和Avro。
37. -touchz path 在path处创建一个0长度的文件，当前时间作为时间戳
    <路径>如果文件的长度不为零，则返回错误
    eg:hdfs dfs -touchz /user/hdfs/gpl/1.txt
38. -usage 显示给定命令或所有命令的用法(如果没有指定任何命令)。与-help类似
    eg：hdfs dfs -usage