大数据笔记 | HDFS 常用操作命令

最新推荐文章于 2024-03-20 22:00:13 发布

码农UP2U

最新推荐文章于 2024-03-20 22:00:13 发布

阅读量8.4k

点赞数 10

分类专栏：大数据文章标签： hdfs big data hadoop

本文链接：https://blog.csdn.net/easysec/article/details/121355486

版权

大数据专栏收录该内容

19 篇文章 0 订阅

订阅专栏

HDFS 是 Hadoop Distributed File System 的简写，即 Hadoop 分布式文件系统。它是 Hadoop 项目的核心子项目，它为大数据分布式计算提供了海量数据的存储与管理。

既然 HDFS 是文件系统，那么它必然有一套对文件管理的命令，这里介绍一下 HDFS 常用的文件管理命令。

一、HDFS 命令前缀

所有操作 HDFS 的命令都需要前缀，它的前缀有两种，分别是 hadoop fs 或 hdfs dfs 两种。可以通过 hadoop fs -help 或 hdfs dfs -help 来查看其帮助文件。比如：

$ hadoop fs -help ls
-ls [-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u] [<path> ...] :
  List the contents that match the specified file pattern. If path is not
  specified, the contents of /user/<currentUser> will be listed. For a directory a
  list of its direct children is returned (unless -d option is specified).

  Directory entries are of the form:
        permissions - userId groupId sizeOfDirectory(in bytes)
  modificationDate(yyyy-MM-dd HH:mm) directoryName

  and file entries are of the form:
        permissions numberOfReplicas userId groupId sizeOfFile(in bytes)
  modificationDate(yyyy-MM-dd HH:mm) fileName

    -C  Display the paths of files and directories only.
    -d  Directories are listed as plain files.
    -h  Formats the sizes of files in a human-readable fashion
        rather than a number of bytes.
    -q  Print ? instead of non-printable characters.
    -R  Recursively list the contents of directories.
    -t  Sort files by modification time (most recent first).
    -S  Sort files by size.
    -r  Reverse the order of the sort.
    -u  Use time of last access instead of modification for
        display and sorting.

或者使用 hdfs dfs 来查看帮助，命令如下：

$ hdfs dfs -help ls
-ls [-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u] [<path> ...] :
  List the contents that match the specified file pattern. If path is not
  specified, the contents of /user/<currentUser> will be listed. For a directory a
  list of its direct children is returned (unless -d option is specified).

  Directory entries are of the form:
        permissions - userId groupId sizeOfDirectory(in bytes)
  modificationDate(yyyy-MM-dd HH:mm) directoryName

  and file entries are of the form:
        permissions numberOfReplicas userId groupId sizeOfFile(in bytes)
  modificationDate(yyyy-MM-dd HH:mm) fileName

    -C  Display the paths of files and directories only.
    -d  Directories are listed as plain files.
    -h  Formats the sizes of files in a human-readable fashion
        rather than a number of bytes.
    -q  Print ? instead of non-printable characters.
    -R  Recursively list the contents of directories.
    -t  Sort files by modification time (most recent first).
    -S  Sort files by size.
    -r  Reverse the order of the sort.
    -u  Use time of last access instead of modification for
        display and sorting.

二、ls 命令

ls 命令用来查看 HDFS 系统中的目录和文件，命令如下：

$ hadoop fs -ls /

也可以通过给 ls 添加 -R 参数来递归列出要查看目录下的所有目录和文件，命令如下：

$ hadoop fs -ls -R /

由于目前在 HDFS 中并没有任何文件和目录，因此这里没有显示任何的结果。

三、put 命令

put 命令用于将本地文件上传到 HDFS 系统中，命令如下：

$ hadoop fs -put test.txt /
$ hadoop fs -ls /
Found 1 items
-rw-r--r--   2 hadoop supergroup          5 2021-11-07 13:22 /test.txt

通过 -put 命令将本地当前目录下的 test.txt 文件上传到了 HDFS 的 / 目录下，通过 -ls 命令可以看到文件已经上传到 HDFS 系统中了。

四、moveFromLocal 命令

将本地文件移动到 HDFS 文件系统中，并将本地的文件进行删除，命令如下：

$ ll
总用量 84804
-rw-rw-r--. 1 hadoop hadoop        5 11月  7 13:27 abc.txt
$ hadoop fs -moveFromLocal abc.txt /
$ hadoop fs -ls /
Found 2 items
-rw-r--r--   2 hadoop supergroup          5 2021-11-07 13:27 /abc.txt
-rw-r--r--   2 hadoop supergroup          5 2021-11-07 13:22 /test.txt

将本地的 abc.txt 文件上传到 HDFS 的 / 目录下，通过 -ls 命令查看 / 目录下已经有了 abc.txt 文件，再来查看本地文件，本地的 abc.txt 文件已经被移除。

五、get 命令

get 命令用来将 HDFS 文件系统中的文件下载到本地，下载时的文件名不能与本地文件相同，否则会提示文件已存在。命令如下：

$ hadoop fs -get /abc.txt /home/hadoop/
$ ll
总用量 84804
-rw-r--r--. 1 hadoop hadoop        5 11月  7 13:42 abc.txt

下载文件时确保文件不重名，否则提示文件已存在，命令如下：

$ hadoop fs -get / /home/hadoop/
get: `/home/hadoop/abc.txt': File exists
get: `/home/hadoop/test.txt': File exists

六、rm 命令

rm 命令用来删除 HDFS 系统中的文件或文件夹，每次可以删除多个文件或目录，命令如下：

$ hadoop fs -rm /test.txt
Deleted /test.txt
$ hadoop fs -ls /
Found 1 items
-rw-r--r--   2 hadoop supergroup          5 2021-11-07 13:27 /abc.txt

七、mkdir 命令

mkdir 命令用来在 HDFS 系统中创建目录，可以使用 -p 参数创建多级目录，即当父目录不存在时，则自动创建，若不使用 -p 参数，当父目录不存在时则会提示文件或目录不存在。命令如下：

$ hadoop fs -mkdir /test
$ hadoop fs -mkdir /abc/abc
mkdir: `/abc/abc': No such file or directory
$ hadoop fs -mkdir -p /abc/abc

八、cp 命令

cp 命令在 HDFS 文件系统中用于文件的复制，命令如下：

$ hadoop fs -ls /
Found 3 items
drwxr-xr-x   - hadoop supergroup          0 2021-11-07 13:47 /abc
-rw-r--r--   2 hadoop supergroup          5 2021-11-07 13:27 /abc.txt
drwxr-xr-x   - hadoop supergroup          0 2021-11-07 13:47 /test
$ hadoop fs -cp /abc.txt /abc/
$ hadoop fs -ls -R /
drwxr-xr-x   - hadoop supergroup          0 2021-11-07 13:49 /abc
drwxr-xr-x   - hadoop supergroup          0 2021-11-07 13:47 /abc/abc
-rw-r--r--   2 hadoop supergroup          5 2021-11-07 13:49 /abc/abc.txt
-rw-r--r--   2 hadoop supergroup          5 2021-11-07 13:27 /abc.txt
drwxr-xr-x   - hadoop supergroup          0 2021-11-07 13:47 /test

通过 cp 命令将 /abc.txt 文件复制到了 /abc/ 目录下，然后使用 ls -R 来递归查看目录。

九、mv 命令

mv 命令用来在 HDFS 文件系统下完成移动的功能，也可以用来进行重命名。命令如下：

hadoop fs -mv /abc/abc.txt /test/
[hadoop@centos01 ~]$ hadoop fs -ls -R /
drwxr-xr-x   - hadoop supergroup          0 2021-11-07 13:52 /abc
drwxr-xr-x   - hadoop supergroup          0 2021-11-07 13:47 /abc/abc
-rw-r--r--   2 hadoop supergroup          5 2021-11-07 13:27 /abc.txt
drwxr-xr-x   - hadoop supergroup          0 2021-11-07 13:52 /test
-rw-r--r--   2 hadoop supergroup          5 2021-11-07 13:49 /test/abc.txt

从上面的命令中可以看出，/abc/abc.txt 文件被移动到了 /test/ 目录下。再来看下它的重命名功能：

$ hadoop fs -mv /test/abc.txt /test/abcabc.txt
$ hadoop fs -ls /test/
Found 1 items
-rw-r--r--   2 hadoop supergroup          5 2021-11-07 13:49 /test/abcabc.txt

通过 ls 命令可以看到，abc.txt 已经被重命名为了 abcabc.txt。

十、cat 命令

cat 命令用来输出 HDFS 文件系统中某个文件的所有内容，命令如下：

$ hadoop fs -cat /test/abcabc.txt
1234
$ hadoop fs -cat /abc.txt
1234

十一、appendToFile 命令

将单个或多个文件的内容从本地系统追加到 HDFS 系统的文件中，命令如下：

$ hadoop fs -appendToFile abc.txt /abc.txt
$ hadoop fs -cat /abc.txt
1234
1234

可以看到，/abc.txt 的内容已经发生了改变。

十二、总结

HDFS 关于文件的基本操作与 Linux 系统命令的基本是一样的，只是 HDFS 命令增加了 hadoop fs 这样的前缀。如果对 Linux 系统命令有些了解，那么 HDFS 的基本操作命令也会非常容易的上手。

码农UP2U

关注

10
点赞
踩
97

收藏

觉得还不错? 一键收藏
打赏
2
评论
大数据笔记 | HDFS 常用操作命令

HDFS 是 Hadoop Distributed File System 的简写，即 Hadoop 分布式文件系统。它是 Hadoop 项目的核心子项目，它为大数据分布式计算提供了海量数据的存储与管理。既然 HDFS 是文件系统，那么它必然有一套对文件管理的命令，这里介绍一下 HDFS 常用的文件管理命令。一、HDFS 命令前缀所有操作 HDFS 的命令都需要前缀，它的前缀有两种，分别是 hadoop fs 或 hdfs dfs ...
复制链接

扫一扫