Hadoop 命令操作大全
hdfs dfs -help 列出可操作命令如下:
Usage: hadoop fs [generic options]
[-appendToFile <localsrc> ... <dst>]
[-cat [-ignoreCrc] <src> ...]
[-checksum <src> ...]
[-chgrp [-R] GROUP PATH...]
[-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
[-chown [-R] [OWNER][:[GROUP]] PATH...]
[-copyFromLocal [-f] [-p] [-l] <localsrc> ... <dst>]
[-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
[-count [-q] [-h] [-v] <path> ...]
[-cp [-f] [-p | -p[topax]] <src> ... <dst>]
[-createSnapshot <snapshotDir> [<snapshotName>]]
[-deleteSnapshot <snapshotDir> <snapshotName>]
[-df [-h] [<path> ...]]
[-du [-s] [-h] <path> ...]
[-expunge]
[-find <path> ... <expression> ...]
[-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
[-getfacl [-R] <path>]
[-getfattr [-R] {-n name | -d} [-e en] <path>]
[-getmerge [-nl] <src> <localdst>]
[-help [cmd ...]]
[-ls [-d] [-h] [-R] [<path> ...]]
[-mkdir [-p] <path> ...]
[-moveFromLocal <localsrc> ... <dst>]
[-moveToLocal <src> <localdst>]
[-mv <src> ... <dst>]
[-put [-f] [-p] [-l] <localsrc> ... <dst>]
[-renameSnapshot <snapshotDir> <oldName> <newName>]
[-rm [-f] [-r|-R] [-skipTrash] <src> ...]
[-rmdir [--ignore-fail-on-non-empty] <dir> ...]
[-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <pa
th>]]
[-setfattr {-n name [-v value] | -x name} <path>]
[-setrep [-R] [-w] <rep> <path> ...]
[-stat [format] <path> ...]
[-tail [-f] <file>]
[-test -[defsz] <path>]
[-text [-ignoreCrc] <src> ...]
[-touchz <path> ...]
[-usage [cmd ...]]
- -appendToFile [localsrc] [dst] 将本地文件localsrc追加到hdfs的dst文件中,如果dst文件不存在,则创建。
eg:hdfs dfs -appendToFile /home/t2.txt /user/hdfs/gpl/t2.txt - -cat [dst]显示文件内容
eg:hdfs dfs -cat /user/hdfs/gpl/t2.txt -checksum [dst] 为匹配文件模式dst到stdou的文件转储校验和信息
eg:hdfs dfs -checksum /user/hdfs/gpl/t2.txt
-chgrp [-R] GROUP PATH 相当与-chown
eg:hdfs dfs -chgrp hdfs /user/hdfs/gpl/t2.txt- -chmod 更改文件的权限,与shell的chmod命令类似
eg:hdfs dfs -chmod 777 /user/hdfs/gpl/t2.txt - -chown 更改文件所属者
eg:hdfs dfs -chown hdfs /user/hdfs/gpl/tx.txt - -copyFromLocal [localsrc] [dst] 将本地文件上传到hdfs目录
eg:hdfs dfs -copyFromLocal /home/t2.txt /user/hdfs/gpl/ - -copyToLocal [dst] [localsrc] 将hdfs文件下载到本地
eg:hadoop fs -copyToLocal /user/hdfs/data2/ip=10.69.2.3/logfile_localhost.lo
caldomain_1531106559.txt /home/ - -count 查看目录下,子目录数[-q]、文件数[-h]、文件大小[-v]、文件名/目录名[dst]
eg: hdfs dfs -count /user/hdfs/gpl
- -cp SRC [SRC …] DST 将文件从SRC复制到DST,如果指定了多个SRC,则DST必须为一个目录
eg: hdfs dfs -cp /user/hdfs/data2/ip=10.69.2.3/logfile_localhost.loc
aldomain_1531106600.txt /user/hdfs/gpl/ - -createSnapshot [snapshotDir] [snapshotName] 在目录上创建快照
eg:hdfs dfs -createSnapshot /user/hdfs/gpl/ kz
. - -deleteSnapshot [snapshotDir][snapshotName] 在目录上删除快照
eg:hdfs dfs -deleteSnapshot /user/hdfs/gpl/kz - -df 显示文件系统的容量、空闲空间和使用空间
eg:hdfs dfs -df /user/hdfs/gpl
- -du 显示该目录中每个文件或目录的大小
eg: hdfs dfs -du -s -h /user/hdfs
- -expunge 清空回收站,文件被删除时,它首先会移到临时目录.Trash/中,当超过延迟时间之后,文件才会被永久删除
eg: hdfs dfs -expunge - -find 查找与指定表达式匹配的所有文件
eg:hdfs dfs -find /user/hdfs -name t2.txt - -get 将hdfs文件下载到本地与-copyToLocal 类似
eg:hadoop fs -get /user/hdfs/data2/ip=10.69.2.3/logfile_localhost.lo
caldomain_1531106559.txt /home/ - -getfacl [-R] [path] 显示文件和目录的访问控制列表(acl)。如果一个
目录有一个默认的ACL,然后getfacl也显示默认的ACL。
eg:hdfs dfs -getfacl /user/hdfs
- -getfattr 显示文件或的扩展属性名和值(如果有的话)
- -getmerge [src] [localdst] 将hdfs的多个文件合并后下载到本地
eg:hsfs dfs -getmerge /user/hdfs/data2/ip=10.69.2.3/ /home/ip.txt -
- help 帮助命令,列出可操作命令
-ls 列出指定目录下的文件或目录
eg:hdfs dfs -ls /user/hdfs-mkdir 创建目录
eg:hdfs dfs -mkdir /user/hdfs/test-moveFromLocal [localsrc] … [dst] 本地文件系统复制文件到HDFS文件系统后删除本地文件
eg:hdfs dfs -moveFromLocal /home/md.txt /user/hdfs/gpl
25.-moveToLocal [src] [localdst] 未实现-mv [src] [dst] 将匹配指定文件模式src的文件移动到目标dst,在移动多个文件时,目标必须是一个目录。
eg:hdfs dfs -mv /user/hdfs/gpl/mft5.txt /user/hdfs/gpl/mft.txt- -put [localsrc] [dst] 本地文件系统复制文件到HDFS文件系统与,与-copyFromLocal类似
- -renameSnapshot [snapshotDir][oldName] [newName] 快照重命名
- -rm 删除 ,与shell的rm命令类似
eg: hdfs dfs -rm -r /user/hdfs/gpl/mtf.txt - -rmdir [dir] 删除指定的dir目录项
eg: hdfs dfs -rmdir /user/hdfs/test - -setfacl 设置文件和目录的访问控制列表(acl)。
- -setfattr 设置文件或目录的扩展属性名和值。
- -setrep 设置文件的复制级别
- -stat [format] path 以指定格式打印文件/目录的统计信息,其中,%b-块、%g-所属组 、%n-文件名、%o块大小、%u用户名
eg:hdfs dfs -stat [%b-%g-%n-%o-%r-%u-%y:%Y] /user/hdfs/gpl
-tail [-f] path Show the last 1KB of the file
eg:hdfs dfs -tail /user/hdfs/gpl/t2.txt-test -[defsz] path 回答关于path的各种问题,结果通过退出状态。
- -text 获取源文件并以文本格式输出该文件。允许的格式是zip和TextRecordInputStream和Avro。
- -touchz path 在path处创建一个0长度的文件,当前时间作为时间戳
<路径>如果文件的长度不为零,则返回错误
eg:hdfs dfs -touchz /user/hdfs/gpl/1.txt - -usage 显示给定命令或所有命令的用法(如果没有指定任何命令)。与-help类似
eg:hdfs dfs -usage