尚硅谷hadoop-3.8-HDFS命令行操作

前提条件：开启集群，jps查看是否开启成功

1.查看ls的帮助文档

hadoop fs -help ls

2.查看文件目录信息

hadoop fs ls 

3.在hdfs上创建目录

hadoop fs mkdir /user/linuxprobe/output 

4.把本地的数据剪切到HDFS上

hadoop fs -moveFromLocal xiaoxiong.txt /user/linuxprobe/output

5.从HDFS上剪切到本地(没用，无此命令)

hadoop fs -moveToLocal /user/linuxprobe/input/anpengjin.txt  ./

6.追加文件内容到HDFS上的文件中去（运行出错，目前还不知道原因）

hadoop fs -appendToFile dongsi.txt /user/linuxprobe/input/anpengjin.txt

7.查看文件内容

hadoop fs -cat /user/linuxprobe/input/anpengjin.txt

8.显示一个文件的末尾

hadoop fs -tail /user/linuxprobe/input/anpengjin.txt

9.以字符串形式打印一个文件的内容

hadoop fs -text /user/linuxprobe/input/anpengjin.txt

下面的命令和Linux大同小异

10.改变文件权限

hadoop fs chown linuxprobe:linuxprobge anpengjin.txt

11.从本地文件复制到HDFS文件系统上

hadoop fs -copyFromLocal anpengjin.txt /user/linuxprobe/input

12.从HDFS上复制到本地

hadoop fs -copyToLocal /user/linuxprobe/input/anpengjin.txt  ./

13.从HDFS的一个路径拷贝到HDFS的另一个路径

hadoop fs cp /user/linuxprobe/input/anpengjin.txt  /user/linuxprobe/output

14.在HDFS上移动文件

hadoop fs mv /user/linuxprobe/input/anpengjin.txt  /user/linuxprobe/output

15.-get等同于copyToLocal ,就是从HDFS上下载文件

16.将HDFS上的多个文件合并成一个文件并下载到本地

hadoop fs -getmerage /user/linuxprobe/*.txt ./ljx  将以txt结尾的文件合并成一个放到本地目录并命名为ljx

17.

-put >等同于copyFromLocal

18.

-rm >删除文件或文件夹

19.

-rmdir >删除空目录

20.

-df >统计文件中的可用空间信息

21.

-du >统计文件夹的大小信息

22.

-count >统计一个指定目录的深度和数量

第一个数：深度，第二个数：总共的文件数量

23.设置HDFS文件中的副本数量

hadoop fs -setrep 2 /user/linuxprobe/input/anpengjin.txt

这里设置的副本数只是记录在namenode的元数据中，是否真的会有这么多副本，还得看datanode的数量。因为目前只有3台设备，最多也就3个副本，只有节点数的增加到10台时，副本数才能达到10。