Hadoop (六) --------- HDFS 的 Shell 操作

---

一、基本语法

hadoop fs 具体命令 或 hdfs dfs 具体命令 两个是完全相同的。

二、命令大全

查看指令参数

[fancyry@hadoop102 hadoop-3.1.3]$ bin/hadoop fs

[-appendToFile <localsrc> ... <dst>]
        [-cat [-ignoreCrc] <src> ...]
        [-chgrp [-R] GROUP PATH...]
        [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
        [-chown [-R] [OWNER][:[GROUP]] PATH...]
        [-copyFromLocal [-f] [-p] <localsrc> ... <dst>]
        [-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
        [-count [-q] <path> ...]
        [-cp [-f] [-p] <src> ... <dst>]
        [-df [-h] [<path> ...]]
        [-du [-s] [-h] <path> ...]
        [-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
        [-getmerge [-nl] <src> <localdst>]
        [-help [cmd ...]]
        [-ls [-d] [-h] [-R] [<path> ...]]
        [-mkdir [-p] <path> ...]
        [-moveFromLocal <localsrc> ... <dst>]
        [-moveToLocal <src> <localdst>]
        [-mv <src> ... <dst>]
        [-put [-f] [-p] <localsrc> ... <dst>]
        [-rm [-f] [-r|-R] [-skipTrash] <src> ...]
        [-rmdir [--ignore-fail-on-non-empty] <dir> ...]
<acl_spec> <path>]]
        [-setrep [-R] [-w] <rep> <path> ...]
        [-stat [format] <path> ...]
        [-tail [-f] <file>]
        [-test -[defsz] <path>]
        [-text [-ignoreCrc] <src> ...]

三、常用命令实操

1. 准备工作

1）启动Hadoop集群（方便后续的测试）

[fancyry@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh
[fancyry@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh

2）-help：输出这个命令参数

[fancyry@hadoop102 hadoop-3.1.3]$ hadoop fs -help rm

3）创建 /test 文件夹

[fancyry@hadoop102 hadoop-3.1.3]$ hadoop fs -mkdir /test

2. 上传

1）-moveFromLocal

功能：从本地剪切粘贴到HDFS

[fancyry@hadoop102 hadoop-3.1.3]$ vim test1.txt

输入：
test1

[fancyry@hadoop102 hadoop-3.1.3]$ hadoop fs  -moveFromLocal  ./test1.txt  /test

2）-copyFromLocal

功能 ：从本地文件系统中拷贝文件到HDFS路径去

[fancyry@hadoop102 hadoop-3.1.3]$ vim test2.txt

输入：
test2

[fancyry@hadoop102 hadoop-3.1.3]$ hadoop fs -copyFromLocal test2.txt /test

3）-put

功能 ：等同于copyFromLocal，生产环境更习惯用put

[fancyry@hadoop102 hadoop-3.1.3]$ vim test3.txt

输入：
test3

[fancyry@hadoop102 hadoop-3.1.3]$ hadoop fs -put ./test3.txt /test

4）-appendToFile

功能 ：追加一个文件到已经存在的文件末尾

[fancyry@hadoop102 hadoop-3.1.3]$ vim h.txt

输入：
h

[fancyry@hadoop102 hadoop-3.1.3]$ hadoop fs -appendToFile h.txt /test/test1.txt

3. 下载

1）-copyToLocal

功能 ：从 HDFS拷贝到本地

[fancyry@hadoop102 hadoop-3.1.3]$ hadoop fs -copyToLocal /test/test1.txt ./

2）-get

功能：等同于copyToLocal，生产环境更习惯用get

[fancyry@hadoop102 hadoop-3.1.3]$ hadoop fs -get /test/test1.txt ./test2.txt

4. HDFS 直接操作

1）-ls

功能 ：显示目录信息

[fancyry@hadoop102 hadoop-3.1.3]$ hadoop fs -ls /test

2）-cat

功能 ：显示文件内容

[fancyry@hadoop102 hadoop-3.1.3]$ hadoop fs -cat /test/test1.txt

3）-chgrp、-chmod、-chown

Linux文件系统中的用法一样，修改文件所属权限

[fancyry@hadoop102 hadoop-3.1.3]$ hadoop fs  -chmod 666  /test/test1.txt

[fancyry@hadoop102 hadoop-3.1.3]$ hadoop fs  -chown  fancyry:fancyry   /test/test1.txt

4）-mkdir

功能 ：创建路径

[fancyry@hadoop102 hadoop-3.1.3]$ hadoop fs -mkdir /test1

5）-cp

功能 ：从HDFS的一个路径拷贝到HDFS的另一个路径

[fancyry@hadoop102 hadoop-3.1.3]$ hadoop fs -cp /test/test1.txt /test1

6）-mv
功能 ：在HDFS目录中移动文件

[fancyry@hadoop102 hadoop-3.1.3]$ hadoop fs -mv /test/test2.txt /test1

[fancyry@hadoop102 hadoop-3.1.3]$ hadoop fs -mv /test/test3.txt /test1

7）-tail

功能 ：显示一个文件的末尾1kb的数据

[fancyry@hadoop102 hadoop-3.1.3]$ hadoop fs -tail /test1/test1.txt

8）-rm

功能 ：删除文件或文件夹

[fancyry@hadoop102 hadoop-3.1.3]$ hadoop fs -rm /test/test.txt

9）-rm -r

功能 ：递归删除目录及目录里面内容

[fancyry@hadoop102 hadoop-3.1.3]$ hadoop fs -rm -r /test

10）-du

功能 ：统计文件夹的大小信息

[fancyry@hadoop102 hadoop-3.1.3]$ hadoop fs -du -s -h /test1

[fancyry@hadoop102 hadoop-3.1.3]$ hadoop fs -du  -h /test1

11）-setrep

功能：设置HDFS中文件的副本数量

这里设置的副本数只是记录在NameNode的元数据中，是否真的会有这么多副本，还得看DataNode的数量。因为目前只有3台设备，最多也就3个副本，只有节点数的增加到10台时，副本数才能达到10