HDFS 常用shell命令操作

-help：帮助

-help + 命令：输出这个命令参数 
eg：
[jacob@hadoop03 ~]$ hdfs dfs -help rm 

-rm [-f] [-r|-R] [-skipTrash] <src> ... :
  Delete all files that match the specified file pattern. Equivalent to the Unix
  command "rm <src>"
                                                                                 
  -skipTrash  option bypasses trash, if enabled, and immediately deletes <src>   
  -f          If the file does not exist, do not display a diagnostic message or 
              modify the exit status to reflect an error.                        
  -[rR]       Recursively deletes directories   

-ls: 显示目录信息

hadoop fs -ls / 
eg:
[jacob@hadoop03 ~]$ hadoop fs -ls / 

Found 4 items
drwxr-xr-x   - jacob supergroup          0 2019-12-03 19:32 /input
drwxr-xr-x   - jacob supergroup          0 2019-12-04 01:22 /output
drwx-wx-wx   - jacob supergroup          0 2019-10-04 18:37 /tmp
drwxr-xr-x   - jacob supergroup          0 2019-10-18 04:05 /user

-mkdir：在hdfs上创建目录

hadoop fs -mkdir -p /aaa/bbb/cc/dd
-p代表级联

-moveFromLocal ：从本地剪切粘贴到hdfs

hadoop fs - moveFromLocal /home/hadoop/a.txt /aaa/bbb/cc/dd 

-moveToLocal：从hdfs剪切粘贴到本地（尚未实现）

hadoop fs -help moveToLocal

–appendToFile ：追加一个文件到已经存在的文件末尾

hadoop fs -appendToFile ./hello.txt /hello.txt 

-cat ：显示文件内容

hdfs dfs -cat /b.txt

-tail：显示一个文件的末尾

hadoop fs -tail /weblog/access_log.1 

-chgrp 、-chmod、-chown：修改文件所属权限

和linux文件系统中的用法一样
hadoop fs -chown someuser:somegrp /hello.txt 

-copyFromLocal：从本地文件系统中拷贝文件到hdfs路径去

hadoop fs -copyFromLocal ./jdk.tar.gz /aaa/ 

-copyToLocal：从hdfs拷贝到本地

hadoop fs -copyToLocal /user/hello.txt ./hello.txt 

-cp ：从hdfs的一个路径拷贝到hdfs的另一个路径

hadoop fs -cp /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2 

-mv：在hdfs目录中移动文件

hadoop fs -mv /aaa/jdk.tar.gz / 

-get：等同于copyToLocal，就是从hdfs下载文件到本地

hadoop fs -get /user/hello.txt ./ 

-getmerge ：合并下载多个文件

比如hdfs的目录 /aaa/下有多个文件:log.1, log.2,log.3,… 可以一次性下载并合并
hadoop fs -getmerge /aaa/log.* ./log.sum 

-put：等同于copyFromLocal

hadoop fs -put /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2 

-rm：删除文件或文件夹

hadoop fs -rm -r /aaa/bbb/ 

-rmdir：删除空目录

hadoop fs -rmdir /aaa/bbb/ccc 

-df ：统计文件系统的可用空间信息

hadoop fs -df -h / 

eg：
[jacob@hadoop03 ~]$ hadoop fs -df -h / 
Filesystem       Size     Used  Available  Use%
hdfs://bd1904  51.3 G  316.4 M     31.1 G    1%

-du：统计文件夹的大小信息

hadoop fs -du -s -h /input

-count：统计一个指定目录下的文件节点数量

hadoop fs -count /input

-setrep：设置hdfs中文件的副本数量

hadoop fs -setrep 3 /aaa/jdk.tar.gz 

这里设置的副本数只是记录在namenode的元数据中，是否真的会有这么多副本，还得看datanode的数量。因为目前只有3台设备，最多也就3个副本，只有节点数的增加到10台时，副本数才能达到10。

hdfs fsck / :查看集群的状态

hdfs fsck / : 查看集群的状态（运行状态）

[jacob@hadoop03 ~]$ hdfs fsck /
Connecting to namenode via http://hadoop02:50070/fsck?ugi=jacob&path=%2F
FSCK started by jacob (auth:SIMPLE) from /192.168.5.109 for path / at Wed Dec 25 18:31:23 CST 2019
....................................................................................................
....................................................................................................
.............................................................................Status: HEALTHY
 Total size:    159395771 B
 Total dirs:    262
 Total files:   877
 Total symlinks:                0
 Total blocks (validated):      870 (avg. block size 183213 B)
 Minimally replicated blocks:   870 (100.0 %)
 Over-replicated blocks:        0 (0.0 %)
 Under-replicated blocks:       0 (0.0 %)
 Mis-replicated blocks:         0 (0.0 %)
 Default replication factor:    2
 Average block replication:     2.0
 Corrupt blocks:                0
 Missing replicas:              0 (0.0 %)
 Number of data-nodes:          3
 Number of racks:               1
FSCK ended at Wed Dec 25 18:31:23 CST 2019 in 254 milliseconds