HDFS的常用命令

最新推荐文章于 2024-05-28 14:09:11 发布

唐樽

最新推荐文章于 2024-05-28 14:09:11 发布

阅读量1.1k

点赞数 1

分类专栏：大数据 Linux 大数据--学习文章标签： hdfs hadoop

本文链接：https://blog.csdn.net/weixin_44775255/article/details/115067406

版权

大数据 Linux 同时被 2 个专栏收录

62 篇文章 12 订阅

订阅专栏

大数据--学习

41 篇文章 1 订阅

订阅专栏

本文详细介绍了HDFS的常用操作命令，包括查看、文件及目录管理、文件上传下载、统计等功能。例如，ls用于查看目录内容，mv进行文件移动，put和get分别用于文件上传和下载，chmod、chown改变文件权限和所有者，还有统计命令如count、du和df等。这些命令对于Hadoop开发者和管理员日常操作HDFS至关重要。

摘要由CSDN通过智能技术生成

HDFS的常用命令

eclipse连接Hadoop

eclipse 实现 Hdfs java API

简单熟悉HDFS的常用命令

Usage: hadoop fs [generic options]：

    [-appendToFile <localsrc> ... <dst>]
    [-cat [-ignoreCrc] <src> ...]
    [-checksum <src> ...]
    [-chgrp [-R] GROUP PATH...]
    [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
    [-chown [-R] [OWNER][:[GROUP]] PATH...]
    [-copyFromLocal [-f] [-p] [-l] <localsrc> ... <dst>]
    [-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
    [-count [-q] [-h] [-v] <path> ...]
    [-cp [-f] [-p | -p[topax]] <src> ... <dst>]
    [-createSnapshot <snapshotDir> [<snapshotName>]]
    [-deleteSnapshot <snapshotDir> <snapshotName>]
    [-df [-h] [<path> ...]]
    [-du [-s] [-h] <path> ...]
    [-expunge]
    [-find <path> ... <expression> ...]
    [-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
    [-getfacl [-R] <path>]
    [-getfattr [-R] {-n name | -d} [-e en] <path>]
    [-getmerge [-nl] <src> <localdst>]
    [-help [cmd ...]]
    [-ls [-d] [-h] [-R] [<path> ...]]
    [-mkdir [-p] <path> ...]
    [-moveFromLocal <localsrc> ... <dst>]
    [-moveToLocal <src> <localdst>]
    [-mv <src> ... <dst>]
    [-put [-f] [-p] [-l] <localsrc> ... <dst>]
    [-renameSnapshot <snapshotDir> <oldName> <newName>]
    [-rm [-f] [-r|-R] [-skipTrash] <src> ...]
    [-rmdir [--ignore-fail-on-non-empty] <dir> ...]
    [-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]
    [-setfattr {-n name [-v value] | -x name} <path>]
    [-setrep [-R] [-w] <rep> <path> ...]
    [-stat [format] <path> ...]
    [-tail [-f] <file>]
    [-test -[defsz] <path>]
    [-text [-ignoreCrc] <src> ...]
    [-touchz <path> ...]
    [-usage [cmd ...]]

一、查看相关命令

ls：-ls 列出指定目录下的文件或目录。
cat：-cat [dst]显示文件内容。
text：-text 获取源文件并以文本格式输出该文件。允许的格式是zip和TextRecordInputStream和Avro。
test：-test -[defsz] path 回答关于path的各种问题，结果通过退出状态。
tail：-tail [-f] path Show the last 1KB of the file。
chechsum：-checksum [dst] 为匹配文件模式dst到stdou的文件转储校验和信息。

在这里插入图片描述

二、文件及目录相关命令

mv：-mv [src] [dst] 将匹配指定文件模式src的文件移动到目标dst,在移动多个文件时，目标必须是一个目录。
cp：-cp SRC [SRC …] DST 将文件从SRC复制到DST，如果指定了多个SRC，则DST必须为一个目录
mkdir：-mkdir 创建目录
rm：-rm 删除，与shell的rm命令类似
rmdir： -rmdir [dir] 删除指定的dir目录项
touchz：-touchz path 在path处创建一个0长度的文件，当前时间作为时间戳 <路径>如果文件的长度不为零，则返回错误。
appendToFile：-appendToFile [localsrc] [dst] 将本地文件localsrc追加到hdfs的dst文件中，如果dst文件不存在，则创建。
getmerge：-getmerge [src] [localdst] 将hdfs的多个文件合并后下载到本地。

三、文件的上传与下载

put：-put [localsrc] [dst] 本地文件系统复制文件到HDFS文件系统与，与-copyFromLocal类似。
get：-get 将hdfs文件下载到本地与-copyToLocal 类似。
copyToLocal：-copyToLocal [dst] [localsrc] 将hdfs文件下载到本地。
copyFromLocal：-copyFromLocal [localsrc] [dst] 将本地文件上传到hdfs目。
moveFromLocal ：-moveFromLocal [localsrc] … [dst] 本地文件系统复制文件到HDFS文件系统后删除本地文件。
chgrp：-chgrp [-R] GROUP PATH 相当与-chown。
chmod：-chmod 更改文件的权限，与shell的chmod命令类。
chown：-chown 更改文件所属者。
getfacl：-getfacl [-R] [path] 显示文件和目录的访问控制列表(acl)。如果一个目录有一个默认的ACL，然后getfacl也显示默认的ACL。
setfacl：-setfacl 设置文件和目录的访问控制列表(acl)。
setfattr：-setfattr 设置文件或目录的扩展属性名和值。
getfattr：-getfattr 显示文件或的扩展属性名和值(如果有的话)。

四、统计相关命令

count：-count 查看目录下，子目录数[-q]、文件数[-h]、文件大小[-v]、文件名/目录名[dst]。
du：-du 显示该目录中每个文件或目录的大小。
df：-df 显示文件系统的容量、空闲空间和使用空间。
stat ：-stat [format] path 以指定格式打印文件/目录的统计信息,其中，%b-块、%g-所属组、%n-文件名、%o块大小、%u用户名。
操作完毕。