HDFS-day01-第二章HDFS的Shell操作

1基本语法

        Hadoop   fs   具体命令   OR   hdfs   dfs   具体命令

        两个是完全相同的

2：命令大全

$ bin/hadoop fs
#通过上述命令可查看所有HDFS的命令

3：常用命令实操

        1：准备工作

                1：启动Hadoop集群

[atguigu@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh

                2：-help：输出这个命令参数

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -help rm

                3：创建/sanguo文件夹

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -mkdir /sanguo

        2：上传

                1：-moveFromLocal：从本地剪切粘贴到HDFS，在Linux的虚拟机里面创建的文件为本地，HDFS是打开浏览器所看到的目录。这个命令是把本地的放在HDFS上，同时本地的删除。

[atguigu@hadoop102 hadoop-3.1.3]$ vim shuguo.txt
输入：
shuguo
[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -moveFromLocal ./shuguo.txt 
/sanguo

                2：-copyFromLocal：从本地文件系统中拷贝文件到HDFS路径中。同上面相似，但是命令执行完之后，本地上还会保留源文件。

atguigu@hadoop102 hadoop-3.1.3]$ vim weiguo.txt
输入：
weiguo
[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -copyFromLocal weiguo.txt 
/sanguo

                3：-put：等同于copyFromLocal，生产环境更习惯用put

[atguigu@hadoop102 hadoop-3.1.3]$ vim wuguo.txt
输入：
wuguo
[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -put ./wuguo.txt /sanguo

                4：-appendToFile：追加一个文件到以及存在的文件末尾，是将文件内容追加到文件之内，不是文件名称。

[atguigu@hadoop102 hadoop-3.1.3]$ vim liubei.txt
输入：
liubei
[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -appendToFile liubei.txt 
/sanguo/shuguo.txt

        3：下载

                1：-copyToLocal：从HDFS拷贝到本地，保留源文件。

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -copyToLocal /sanguo/shuguo.txt ./

                2：-get：等同于copyToLocal，生产环境更习惯用get，可以改文件名字。

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -get /sanguo/shuguo.txt ./shuguo2.txt

        4：直接操作

                1：-ls：显示目录信息

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -ls /sanguo

                2：-cat：显示文件内容

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -cat /sanguo/shuguo.txt

                3：-chgrp、-chmod、-chown：Linux文件系统中的用法一样，修改文件所属权限。

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -chmod 666 /sanguo/shuguo.txt
[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -chown atguigu:atguigu /sanguo/shuguo.txt

                4：-mkdir：创建路径

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -mkdir /jinguo

                5：-cp：从HDFS的一个路径拷贝到HDFS的另一个路径

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -cp /sanguo/shuguo.txt /jinguo

                6：-mv：在HDFS目录中移动文件

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -mv /sanguo/wuguo.txt /jinguo
[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -mv /sanguo/weiguo.txt /jinguo

                7：-tail：显示一个文件的末尾1kb的数据

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -tail /jinguo/shuguo.txt

                8：-rm：删除文件或文件夹

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -rm /sanguo/shuguo.txt

                9：-rm -r：递归删除目录及目录里面内容

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -rm -r /sanguo

                10：-du：统计文件夹的大小信息

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -du -s -h /jinguo
27 81 /jinguo
#27表示文件大小  81表示总大小，因为是三个副本，下面数据也是同样，因为都是三个副本

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -du -h /jinguo
14 42 /jinguo/shuguo.txt
7 21 /jinguo/weiguo.txt
6 18 /jinguo/wuguo.tx

                11：-setrep：设置HDFS中文件的副本数量

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -setrep 10 /jinguo/shuguo.txt

#浏览器页面的replcation对应的是副本的数量，这里看到的副本数只是记录在NameNode的元数据中
是否真的会有这么多副本，还得看DataNode的数量，因为目前只有3台设备，最多也就3个副本，只有
节点数增加到10的时候，才有10个副本。