hdfs 指令_HDFS常用命令操作

HDFS(Hadoop Distributed File System)是一种分布式文件系统，它具有高容错的特点，并且可以部署在廉价的通用硬件上，提高吞吐率的数据访问，适合那些需要处理海量数据集的应用程序。它提供了一套特有的、基于Hadoop抽象文件系统的API，支持以流的形式访问文件系统中的数据。本篇主要介绍HDFS的命令基本操作：

HDFS常用命令操作有：

hadoop fs -ls / (查询目录)

hadoop fs -mkdir /test (在根目录下创建一个目录test)

hadoop fs -put ./test.txt /test (将本地的test.txt文件上传到HDFS根目录下的test文件夹中去)

hadoop fs -copyFromLocal ./test.txt /test (同上)

hadoop fs -get /test/test.txt (从HDFS目录中获取文件)

hadoop fs -copyToLocal /test/test.txt (同上)

hadoop fs -cp /test/test.txt /test1 (HDFS内部的复制)

hadoop fs -rm /test1/test.txt (移除)

hadoop fs -mv /test/test.txt /test1 (如果两个目录是相同的，则该命令为重命名文件，否则为移动)

hadoop fs -rm -r /test1 (删除文件夹)

hadoop fs -help ls (查阅帮助，该命令为查看ls命令)

hadoop fs -cat README.txt(查看README.txt文件的内容)

首先确保Hadoop集群环境(可以参考前面的文章)可用，进入shell终端输入一下命令来对HDFS文件进行操作：

查询目录：hadoop fs -ls /

[root@probd01:/root]#hadoop fs -ls /

Found 8 items

drwxr-xr-x - root supergroup 0 2019-05-08 15:02 /data

drwxr-xr-x - root supergroup 0 2019-04-18 07:05 /hbase

drwxr-xr-x - root supergroup 0 2019-04-28 07:23 /import

drwxr-xr-x - root supergroup 0 2019-04-27 09:25 /demo

drwxr-xr-x - root supergroup 0 2019-04-09 07:05 /imported

drwxr-xr-x - root supergroup 0 2019-04-08 14:28 /spark223

drwxrwx--- - root supergroup 0 2019-05-08 15:04 /tmp

drwxr-xr-x - root supergroup 0 2019-04-08 13:47 /user

drwx-wx-wx - root supergroup 0 2019-04-08 13:25 /usr

列出来的是本集群的HDFS目录情况，包括权限、所有者、大小和修改时间。

创建目录：hadoop fs -mkdir /目录名

[root@probd01:/root]#hadoop fs -ls /

Found 9 items

drwxr-xr-x - root supergroup 0 2019-05-08 15:02 /data

drwxr-xr-x - root supergroup 0 2019-04-18 07:05 /hbase

drwxr-xr-x - root supergroup 0 2019-04-28 07:23 /import

drwxr-xr-x - root supergroup 0 2019-04-27 09:25 /demo

drwxr-xr-x - root supergroup 0 2019-04-09 07:05 /imported

drwxr-xr-x - root supergroup 0 2019-04-08 14:28 /spark223

drwxr-xr-x - root supergroup 0 2019-05-16 07:53 /test

drwxrwx--- - root supergroup 0 2019-05-08 15:04 /tmp

drwxr-xr-x - root supergroup 0 2019-04-08 13:47 /user

drwx-wx-wx - root supergroup 0 2019-04-08 13:25 /usr

上传文件到HDFS目录下：hadoop fs -put 本地文件路径 /HDFS目录 或者 hadoop fs -copyFromLocal 本地文件路径 /HDFS目录

首先我们用vim编写一个叫test.txt的文件，然后上传到HDFS中的test目录下。

[root@probd01:/root]#vim test.txt

hello HDFS

~

~

"test.txt" [New] 2L, 12C written

[root@probd01:/root]#

[root@probd01:/root]#hadoop fs -put ./test.txt /test

[root@probd01:/root]#hadoop fs -ls /test

Found 1 items

-rw-r--r-- 3 root supergroup 12 2019-05-16 08:02 /test/test.txt

[root@probd01:/root]#vim test1.txt

hello HDFS

~

~

"test1.txt" [New] 1L, 11C written

[root@probd01:/root]#

[root@probd01:/root]#hadoop fs -copyFromLocal test1.txt /test

[root@probd01:/root]#hadoop fs -ls /test

Found 2 items

-rw-r--r-- 3 root supergroup 12 2019-05-16 08:02 /test/test.txt

-rw-r--r-- 3 root supergroup 11 2019-05-16 08:09 /test/test1.txt

从HDFS中获取文件：hadoop fs -get /目录/文件名 或者 hadoop fs -copyToLocal /目录/文件名

[root@probd01:/root]#cd mytest/

[root@probd01:/root/mytest]#ls

[root@probd01:/root/mytest]#hadoop fs -get /test/test1.txt

[root@probd01:/root/mytest]#ls

test1.txt

[root@probd01:/root/mytest]#cat test1.txt

hello HDFS

[root@probd01:/root/mytest]#hadoop fs -copyToLocal /test/test.txt

[root@probd01:/root/mytest]#ls

test1.txt test.txt

[root@probd01:/root/mytest]#cat test.txt

hello HDFS

HDFS内部文件的复制: hadoop fs -cp /目录/文件名 /目录

[root@probd01:/root/mytest]#hadoop fs -cp /test/test.txt /test1

[root@probd01:/root/mytest]#hadoop fs -ls /test1

-rw-r--r-- 3 root supergroup 12 2019-05-16 08:24 /test1

HDFS文件的移除：hadoop fs -rm /目录/文件名

[root@probd01:/root/mytest]#hadoop fs -rm /test/test1.txt

19/05/16 08:26:39 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 1440 minutes, Emptier interval = 0 minutes.

Moved: 'hdfs://probd/test/test1.txt' to trash at: hdfs://probd/user/root/.Trash/Current

[root@probd01:/root/mytest]#hadoop fs -ls /test

Found 1 items

-rw-r--r-- 3 root supergroup 12 2019-05-16 08:02 /test/test.txt

可以看到在原来的目录里面已经成功将文件移除，但是这里出现了一个提示信息，这里信息需要注意一下，在linux系统里，我们知道没有回收站的概念,所以rm -rf导致的结果是非常严重的。然而在hadoop或者说hdfs里面，有trash相关的概念，可以使得数据被误删以后，还可以找回来。从上面我们可以看到，删除的文件只是被移动到了"/user/root/.Trash/Current"中，我们进入里面看到底是不是存在：

[root@probd01:/root/mytest]#hadoop fs -ls /user/root/.Trash/Current

Found 1 items

drwx------ - root supergroup 0 2019-05-16 08:26 /user/root/.Trash/Current/test

[root@probd01:/root/mytest]#hadoop fs -ls /user/root/.Trash/Current/test

Found 1 items

-rw-r--r-- 3 root supergroup 11 2019-05-16 08:09 /user/root/.Trash/Current/test/test1.txt

是的，的确存在，而且保存的还是文件之前的整个路径，以便在恢复的时候能够回到原来的位置。

我们回过头看之前的提示信息，还有一个Deletion interval = 1440 minutes, Emptier interval = 0 minutes，这个是什么东西？

原来在hadoop里有一个trash选项设置，这个选项默认是关闭的。所以如果要生效，需要提前将trash选项打开。修改conf里的core-site.xml即可。我们集群的相关配置如下：

fs.trash.interval

1440

fs.trash.checkpoint.interval

1440

fs.trash.interval是在指在这个回收周期之内，文件实际上是被移动到trash的这个目录下面，而不是马上把数据删除掉。等到回收周期真正到了以后，hdfs才会将数据真正删除。默认的单位是分钟，1440分钟=60*24，刚好是一天。

fs.trash.checkpoint.interval则是指垃圾回收的检查间隔，应该是小于或者等于fs.trash.interval。

移动或重命名文件：hadoop fs -mv /目录/文件名 /目录

如果两个目录是相同的，则该命令为重命名文件，否则为移动。

重命名：

[root@probd01:/root/mytest]#hadoop fs -mv /test/test.txt /test/test2.txt

[root@probd01:/root/mytest]#hadoop fs -ls /test

Found 1 items

-rw-r--r-- 3 root supergroup 12 2019-05-16 08:02 /test/test2.txt

移动：

[root@probd01:/root/mytest]#hadoop fs -mv /test/test2.txt /demo

[root@probd01:/root/mytest]#hadoop fs -ls /demo

Found 1 items

-rw-r--r-- 3 root supergroup 12 2019-05-16 08:02 /demo/test2.txt

[root@probd01:/root/mytest]#hadoop fs -ls /test

[root@probd01:/root/mytest]#

查看文件内容：hadoop fs -cat 文件

[root@probd01:/root/mytest]#hadoop fs -cat /demo/test2.txt

hello HDFS

查阅帮助：hadoop fs -help 命令

[root@probd01:/root/mytest]#hadoop fs -help ls

-ls [-d] [-h] [-R] [ ...] :

List the contents that match the specified file pattern. If path is not

specified, the contents of /user/ will be listed. Directory entries

are of the form:

permissions - userId groupId sizeOfDirectory(in bytes)

modificationDate(yyyy-MM-dd HH:mm) directoryName

and file entries are of the form:

permissions numberOfReplicas userId groupId sizeOfFile(in bytes)

modificationDate(yyyy-MM-dd HH:mm) fileName

-d Directories are listed as plain files.

-h Formats the sizes of files in a human-readable fashion rather than a number

of bytes.

-R Recursively list the contents of directories.

删除文件夹：hadoop fs -rm -r /目录

[root@probd01:/root/mytest]#hadoop fs -rm -r /test

19/05/16 11:30:16 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 1440 minutes, Emptier interval = 0 minutes.

Moved: 'hdfs://probd/test' to trash at: hdfs://probd/user/root/.Trash/Current

还是和上面一样，删除的文件夹被移动到了/user/root/.Trash/Current中，以便以后需要的时候能够恢复。