HDFS基本shell命令

HDFS有很多shell命令，其中，fs命令可以说是HDFS最常用的命令,利用该命令可以查看HDFS文件系统的目录结构、上传和下载数据、创建文件等。

查看hdfs dfs帮助如下：

$ hdfs dfs
Usage: hadoop fs [generic options]
        [-appendToFile <localsrc> ... <dst>]
        [-cat [-ignoreCrc] <src> ...]
        [-checksum <src> ...]
        [-chgrp [-R] GROUP PATH...]
        [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
        [-chown [-R] [OWNER][:[GROUP]] PATH...]
        [-copyFromLocal [-f] [-p] [-l] <localsrc> ... <dst>]
        [-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
        [-count [-q] [-h] <path> ...]
        [-cp [-f] [-p | -p[topax]] <src> ... <dst>]
        [-createSnapshot <snapshotDir> [<snapshotName>]]
        [-deleteSnapshot <snapshotDir> <snapshotName>]
        [-df [-h] [<path> ...]]
        [-du [-s] [-h] <path> ...]
        [-expunge]
        [-find <path> ... <expression> ...]
        [-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
        [-getfacl [-R] <path>]
        [-getfattr [-R] {-n name | -d} [-e en] <path>]
        [-getmerge [-nl] <src> <localdst>]
        [-help [cmd ...]]
        [-ls [-d] [-h] [-R] [<path> ...]]
        [-mkdir [-p] <path> ...]
        [-moveFromLocal <localsrc> ... <dst>]
        [-moveToLocal <src> <localdst>]
        [-mv <src> ... <dst>]
        [-put [-f] [-p] [-l] <localsrc> ... <dst>]
        [-renameSnapshot <snapshotDir> <oldName> <newName>]
        [-rm [-f] [-r|-R] [-skipTrash] <src> ...]
        [-rmdir [--ignore-fail-on-non-empty] <dir> ...]
        [-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]
        [-setfattr {-n name [-v value] | -x name} <path>]
        [-setrep [-R] [-w] <rep> <path> ...]
        [-stat [format] <path> ...]
        [-tail [-f] <file>]
        [-test -[defsz] <path>]
        [-text [-ignoreCrc] <src> ...]
        [-touchz <path> ...]
        [-truncate [-w] <length> <path> ...]
        [-usage [cmd ...]]

Generic options supported are
-conf <configuration file>     specify an application configuration file
-D <property=value>            use value for given property
-fs <local|namenode:port>      specify a namenode
-jt <local|resourcemanager:port>    specify a ResourceManager
-files <comma separated list of files>    specify comma separated files to be copied to the map reduce cluster
-libjars <comma separated list of jars>    specify comma separated jar files to include in the classpath.
-archives <comma separated list of archives>    specify comma separated archives to be unarchived on the compute machines.

The general command line syntax is
bin/hadoop command [genericOptions] [commandOptions]

 

1.熟悉一下命令，执行并查看结果。

(1) 创建HDFS家目录：/user/<用户名>，例如用户名为hadoop，命令如下：

hdfs dfs -mkdir -p /user/hadoop

 

查看目录是否已创建ok

hdfs dfs -ls -R /

 参数：-R 表示递归查询

结果如下：

 

 （2）上传Linux本地文件到HDFS家目录中

在~目录下，新建Linux本地文件，例如：1.txt

nano 1.txt

1.txt的内容如下：

Hello HDFS!

保存。

上传1.txt到HDFS家目录

hdfs dfs -put 1.txt /user/hadoop

或者 用"."代替HDFS家目录，如下：

hdfs dfs -put 1.txt .

 

（3）查看HDFS家目录下包含的文件和目录

hdfs dfs -ls .

 

（4）查看HDFS文件内容

hdfs dfs -cat 1.txt

或者

hdfs dfs -text 1.txt

 注意：1.txt为HDFS下的文件，是相对路径，相对于HDFS的家目录，HDFS的家目录为/user/<用户名>

           如果写成绝对路径应该为：/user/<用户名>/1.txt

 

(5) 下载HDFS文件1.txt到Linux本地，并重命名为h1.txt

hdfs dfs -get 1.txt h1.txt

查看本地h1.txt文件

cat h1.txt

 

（6）删除HDFS文件

hdfs dfs -rm 1.txt

再次查看HDFS家目录，发现1.txt文件已经被删除

 如果是递归删除HDFS目录，需要加上 -r参数

hdfs dfs -rm -r <要删除的目录>

 

(7) 复制本地文件到HDFS（注意与put的区别）

语法：

hdfs dfs -copyFromLocal src dst

src为复制的源头，即从哪里复制；dst为复制的目的地，即复制到哪里去。 

例如本地存在a.txt文件， 复制a.txt到HDFS家目录

hdfs dfs -copyFromLocal a.txt .

查看是否复制成功

hdfs dfs -ls .

 

(8) 移动本地文件到HDFS

hdfs dfs -moveFromLocal src dst

(9) 文件或文件夹复制

hdfs dfs -cp src dst

(10) 文件或文件夹的移动

hdfs dfs -mv src dst

(11) copyToLocal 复制文件到本地 

hdfs dfs -copyToLocal src dst

(12) touchz 创建一个空文件file.txt

hdfs dfs -touchz file.txt

查看是否创建成功

hdfs dfs -ls .

看到HDFS file.txt的大小为0，说明file.txt确实为空文件。

 

(13) 追加内容到文件末尾的指令

本地文件1.txt内容为:

Hello HDFS!

追加1.txt内容到HDFS的file.txt中 

hdfs dfs -appendToFile 1.txt file.txt

查看HDFS file.txt文件大小由0变为了12

hdfs dfs -ls .

查看HDFS file.txt的内容：

hdfs dfs -cat file.txt

 

 

2.HDFS命令的综合运用

通过第1部分的学习，独立思考完成如下任务：

在本地创建一个文件file1，并往file1内写一些内容；在HDFS家目录（例如：/user/ua01，ua01为用户名）创建一个文件夹folder1，把file1上传到folder1中；查看是否上传成功，成功后查看HDFS的file1的内容；把file1下载到本地并命名为myfile，查看myfile的内容；把folder1删除，并查看是否删除成功；最后把本地的myfile删除。