HDFS基本命令使用

目标：掌握HDFS操作数据的命令

1.基本语法

bin/hdfs dfs 具体命令

2.参数大全

[root@node01 Hadoop-2.6.0-cdh5.14.0]# bin/hdfs dfs

3.常用命令

1. -help：输出这个命令参数

bin/hdfs dfs -help rm

2. -ls：显示目录信息

hdfs dfs -ls /

1. -mkdir：在hdfs上创建目录

hdfs dfs  -mkdir  -p  /aaa/bbb/cc/dd

2. -moveFromLocal：从本地剪切粘贴到hdfs

hdfs dfs  -moveFromLocal  /home/Hadoop/a.txt  /aaa/bbb/cc/dd

3. -moveToLocal：从hdfs剪切粘贴到本地

hdfs dfs  -moveToLocal   /aaa/bbb/cc/dd  /home/Hadoop/a.txt

4. -appendToFile：追加一个文件到已存在的文件末尾

hdfs dfs  -appendToFile  ./hello.txt  /hello.txt

5. -cat：显示文件内容

hdfs dfs  -cat   /hadoop-daemon.sh

6. -tail：显示一个文件的末尾

hdfs dfs  -tail  /weblog/access_log.1

7. -text：以字符形式打印一个文件的内容

hdfs dfs  -text  /weblog/access_log.1

8. -chgrp、-chmod、chown：linux文件系统中的用法一样，修该文件所属权

hdfs dfs  -chmod  666  /hello.txt
hdfs dfs  -chown  someuser:somegrp   /hello.txt

9. -copyFromLocal：从本地文件系统中拷贝文件到hdfs路径去

hdfs dfs  -copyFromLocal  ./jdk.tar.gz  /aaa/

10. -copyToLocal：从hdfs拷贝到本地

hdfs dfs -copyToLocal /aaa/jdk.tar.gz

11. -cp：从hdfs的一个路径拷贝到hdfs的另一个路径

hdfs dfs  -cp  /aaa/jdk.tar.gz  /bbb/jdk.tar.gz.2

12. -copyToLocal：从hdfs拷贝到本地

hdfs dfs -copyToLocal /aaa/jdk.tar.gz

13. -cp ：从hdfs的一个路径拷贝到hdfs的另一个路径

hdfs dfs  -cp  /aaa/jdk.tar.gz  /bbb/jdk.tar.gz.2

14. -mv：在hdfs目录中移动文件

hdfs dfs  -mv  /aaa/jdk.tar.gz  /

15. -get：等同于copyToLocal，就是从hdfs下载文件到本地

hdfs dfs -get  /aaa/jdk.tar.gz

16. -getmerge ：合并下载多个文件，比如hdfs的目录 /aaa/下有多个文件:log.1, log.2,log.3,…

hdfs dfs -getmerge /aaa/log.* ./log.sum

17. -put：等同于copyFromLocal

hdfs dfs  -put  /aaa/jdk.tar.gz  /bbb/jdk.tar.gz.2

18. -rm：删除文件或文件夹

hdfs dfs -rmr /aaa/bbb/

19. -rmdir：删除空目录

hdfs dfs  -rmdir   /aaa/bbb/ccc

20. -df ：统计文件系统的可用空间信息

hdfs dfs  -df  -h  /

21. -du统计文件夹的大小信息

hdfs dfs  -du  -s  -h /aaa/*

22. -count：统计一个指定目录下的文件节点数量

hdfs dfs -count /aaa/

23. -setrep：设置hdfs中文件的副本数量

hdfs dfs -setrep 3 /aaa/jdk.tar.gz
注：这里设置的副本数只是记录在namenode的元数据中，
是否真的会有这么多副本，还得看datanode的数量。
因为目前只有3台设备，最多也就3个副本，只有节点数的增加到10台时，
副本数才能达到10。

24. • expunge ：清空hdfs垃圾桶

hdfs dfs  -expunge