Hadoop----hdfs dfs常用命令的使用

用法

1. -mkdir
   创建目录
   Usage：hdfs dfs -mkdir [-p] < paths>
   选项：-p
   很像Unix mkdir -p，沿路径创建父目录。

2. -ls
   查看目录下内容，包括文件名，权限，所有者，大小和修改时间
   Usage：hdfs dfs -ls [-R] < args>
   选项：-R
   递归地显示子目录下的内容
   

3. -put
   将本地文件或目录上传到HDFS中的路径
   Usage：hdfs dfs -put < localsrc> … < dst>
   

4. -get
   将文件或目录从HDFS中的路径拷贝到本地文件路径
   Usage：hdfs dfs -get [-ignoreCrc] [-crc] < src> < localdst>
   选项：
   -ignorecrc选项复制CRC校验失败的文件。
   -crc选项复制文件和CRC。
   

5. -du
   显示给定目录中包含的文件和目录的大小或文件的长度，用字节大小表示，文件名用完整的HDFS协议前缀表示，以防它只是一个文件。
   Usage：hdfs dfs -du [-s] [-h] URI [URI …]
   选项：
   -s选项将显示文件长度的汇总摘要，而不是单个文件。
   -h选项将以“人类可读”的方式格式化文件大小（例如64.0m而不是67108864）
   

6. -dus
   显示文件长度的摘要。
   Usage：hdfs dfs -dus < args>
   注意：不推荐使用此命令。而是使用hdfs dfs -du -s。
   

7. -mv
   在HDFS文件系统中，将文件或目录从HDFS的源路径移动到目标路径。不允许跨文件系统移动文件。
   Usage: hdfs dfs -mv URI [URI …] < dest>
   

8. -cp
   在HDFS文件系统中，将文件或目录复制到目标路径下
   Usage：hdfs dfs -cp [-f] [-p | -p [topax] ] URI [ URI …] < dest>
   选项：
   -f选项覆盖已经存在的目标。
   -p选项将保留文件属性[topx]（时间戳，所有权，权限，ACL，XAttr）。如果指定了-p且没有arg，则保留时间戳，所有权和权限。如果指定了-pa，则还保留权限，因为ACL是一组超级权限。确定是否保留原始命名空间扩展属性与-p标志无关。
   

9. -copyFromLocal
   从本地复制文件到hdfs文件系统（与-put命令相似）
   Usage: hdfs dfs -copyFromLocal < localsrc> URI
   选项：
   如果目标已存在，则-f选项将覆盖目标。

10. -copyToLocal
    复制hdfs文件系统中的文件到本地 （与-get命令相似）
    Usage: hdfs dfs -copyToLocal [-ignorecrc] [-crc] URI < localdst>

11. -rm
    删除一个文件或目录
    Usage：hdfs dfs -rm [-f] [-r|-R] [-skipTrash] URI [URI …]
    选项：
    如果文件不存在，-f选项将不显示诊断消息或修改退出状态以反映错误。
    -R选项以递归方式删除目录及其下的任何内容。
    -r选项等效于-R。
    -skipTrash选项将绕过垃圾桶（如果已启用），并立即删除指定的文件。当需要从超配额目录中删除文件时，这非常有用。
    

12. -cat
    显示文件内容到标准输出上。
    Usage：hdfs dfs -cat URI [URI …]
    

13. -text
    Usage: hdfs dfs -text
    获取源文件并以文本格式输出文件。允许的格式为zip和TextRecordInputStream。

14. -touchz
    创建一个零长度的文件。
    Usage：hdfs dfs -touchz URI [URI …]
    

15. -stat
    显示文件所占块数(%b)，文件名(%n)，块大小(%n)，复制数(%r)，修改时间(%y%Y)。
    Usage：hdfs dfs -stat URI [URI …]

16. -tail
    显示文件的最后1kb内容到标准输出
    Usage：hdfs dfs -tail [-f] URI
    选项：
    -f选项将在文件增长时输出附加数据，如在Unix中一样。

17. -count
    统计与指定文件模式匹配的路径下的目录，文件和字节数
    Usage: hdfs dfs -count [-q] [-h] < paths>

18. -getmerge
    将源目录和目标文件作为输入，并将src中的文件连接到目标本地文件（把两个文件的内容合并起来）
    Usage：hdfs dfs -getmerge < src> < localdst> [addnl]
    注：合并后的文件位于当前目录，不在hdfs中，是本地文件
    

19. -grep
    从hdfs上过滤包含某个字符的行内容
    Usage：hdfs dfs -cat < srcpath> | grep 过滤字段