HDFS的常用命令

---

准备工作

1.首先启动Hadoop集群（方便后续的测试）

[atxiaoyu@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh
[atxiaoyu@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh

2.-help：输出这个命令参数(查看某个命令是如何使用的)
例如：查看rm这个命令的具体参数：

3.在hdfs根目录下创建/sanguo文件夹（后续会用到）

hadoop fs -mkdir /sanguo

上传命令

-moveFromLocal

作用：从本地剪切粘贴到HDFS
例：在本地创建一个shuguo.txt,然后剪切到hdfs中。

-copyFromLocal

作用：从本地文件系统中拷贝文件到HDFS路径去
例：在本地创建一个weiguo.txt,然后拷贝到hdfs中。

-put

作用：等同于copyFromLocal，生产环境更习惯用put
例：在本地创建一个wuguo.txt,然后put到hdfs中。

-appendToFile

作用：追加一个文件到已经存在的文件末尾
例：在本地创建一个liubei.txt,输入liubei,然后追加到shuguo.txt文本内容的后面

下载命令

-copyToLocal

作用：从HDFS拷贝到本地
例：从hdfs拷贝shuguo.txt到当前目录：

-get

作用：等同于copyToLocal，生产环境更习惯用get
例子：从hdfs拷贝shuguo.txt到当前目录下，更名为shuguo2.txt

HDFS直接操作

1.-ls
作用：显示目录信息
例：显示hdfs中sanguo目录下的信息：

2.-cat
作用：显示文件内容
例：显示hdfs中shuguo.txt文件的内容：

3.-chgrp、-chmod、-chown
作用：Linux文件系统中的用法一样，修改文件所属权限
例：修改shuguo.txt文件的权限：
修改前的权限：

修改：

hadoop fs  -chmod 666  /sanguo/shuguo.txt
hadoop fs  -chown  atguigu:atguigu   /sanguo/shuguo.txt

修改后的权限：

4.-mkdir
作用：创建路径（文件夹）
例：在根目录下创建jinguo文件夹

hadoop fs -mkdir /jinguo

5.-cp
作用：从HDFS的一个路径拷贝到HDFS的另一个路径
例：把shuguo.txt拷贝到jinguo路径下：

hadoop fs -cp /sanguo/shuguo.txt /jinguo

6.-mv
在HDFS目录中移动文件
例：

hadoop fs -mv /sanguo/wuguo.txt /jinguo
hadoop fs -mv /sanguo/weiguo.txt /jinguo

7.-tail
作用：显示一个文件的末尾1kb的数据
例：

hadoop fs -tail /jinguo/shuguo.txt

8.-rm/-rm -r
作用：删除文件或文件夹/递归删除目录及目录里面内容
这个就不演示了，这两个代码大家平时最好也不要用。
9.-du
作用：统计文件夹的大小信息
例：

hadoop fs -du -s -h /jinguo

说明：27表示文件大小；81表示27*3个副本；/jinguo表示查看的目录

hadoop fs -du  -h /jinguo

10.-setrep
例：设置HDFS中文件的副本数量

hadoop fs -setrep 10 /jinguo/shuguo.txt

设置前：

设置后：

（这里设置的副本数只是记录在NameNode的元数据中，是否真的会有这么多副本，还得看DataNode的数量。因为目前只有3台设备，最多也就3个副本，只有节点数的增加到10台时，副本数才能达到10）