HDFS（二）——HDFS 常用命令

操作 HDFS 的命令主要分两种：操作命令，管理命令。

一、操作命令

操作命令以 hdfs dfs ****开头。

1. -mkdir：创建目录。

   例 1：hdfs dfs -mkdir /aaa—> 在 HDFS 的根目录下创建一个目录aaa。

   例 2：hdfs dfs -mkdir -p /bbb/ccc—> 在 HDFS 的 /bbb 目录下创建 ccc 目录，如果 bbb 不存在，先创建 bbb。

2. -ls：列出某个目录下的文件，隐藏文件，目录。

   例 1：hdfs dfs -ls /—> 列出 HDFS 的根目录下的所有文件。

   例 2：hdfs dfs -ls -R /—> 列出 HDFS 的根目录以及子目录下的所有文件。（简写：-lsr）

3. -put：上传数据。

   例：hdfs dfs -put ~/a.txt /a.txt。

4. -copyFromLocal：上传数据。

   例：hdfs dfs -copyFromLocal ~/b.txt /b.txt。

5. -moveFromLocal：上传数据（相当于 ctrl + x 剪切）。

   例：hdfs dfs -moveFromLocal ~/c.txt /c.txt。

6. -copyToLocal：下载数据。

   例：hdfs dfs -copyToLocal /a.txt ~/aa.txt。

7. -get：下载数据。

   例：hdfs dfs -get /b.txt ~/b.ttt。

8. -rm：删除目录或文件。

   例：hdfs dfs -rm /a.txt。

9. -rmr：删除目录或文件（包含子目录子文件）。

   例：hdfs dfs -rmr /test。

10. -getmerge：把某个目录下的所有文件合并后下载到本地。

    例：hdfs dfs -getmerge /student ~/temp/alldata.txt，该命令会将 HDFS 的根目录下的 student 目录中的所有文件的内容和并之后下载到本地 Linux 的目录下并命名为 alldata.txt。

11. -cp：在 HDFS 的目录间进行复制。

    例：hdfs dfs -cp /a.txt /a1.txt。

12. -mv：在 HDFS 的目录间进行移动。

    例：hdfs dfs -mv /a.txt /students。

13. -count：统计当前路径下目录的个数（包含本身），文件的个数，文件总大小（B），输入路径。

    例：hdfs dfs -count /tmp。

    [root@bigdata111 ~]# hdfs dfs -count /tmp
               8            3             150979 /tmp
    

14. -du：统计当前路径下每个文件，目录的大小（B）。

    例：hdfs dfs -du /

    [root@bigdata111 ~]# hdfs dfs -du /
    0       /aaa
    60      /input
    0       /mydemo
    55      /output
    16      /ssss.txt
    16      /st.txt
    16      /st1.txt
    0       /system
    150979  /tmp
    

15. -text：查看文件内容。

    例：hdfs dfs -text /a.txt。

16. -cat：查看文件内容。

    例：hdfs dfs -cat /a.txt。

17. balancer：平衡每个数据节点上的数据块的个数。

    例：hdfs balancer。

二、管理命令

管理命令以 hdfs dfsadmin ****开头。

1. -report：输出 HDFS 的报告（Summary）。

   例：hdfs dfsadmin -report。

   [root@bigdata111 ~]# hdfs dfsadmin -report
   Configured Capacity: 50432839680 (46.97 GB)
   Present Capacity: 47918829568 (44.63 GB)
   DFS Remaining: 47918600192 (44.63 GB)
   DFS Used: 229376 (224 KB)
   DFS Used%: 0.00%
   Under replicated blocks: 0
   Blocks with corrupt replicas: 0
   Missing blocks: 0
   Missing blocks (with replication factor 1): 0
   
   -------------------------------------------------
   Live datanodes (1):
   
   Name: 192.168.220.111:50010 (bigdata111)
   Hostname: bigdata111
   Decommission Status : Normal
   Configured Capacity: 50432839680 (46.97 GB)
   DFS Used: 229376 (224 KB)
   Non DFS Used: 2514010112 (2.34 GB)
   DFS Remaining: 47918600192 (44.63 GB)
   DFS Used%: 0.00%
   DFS Remaining%: 95.01%
   Configured Cache Capacity: 0 (0 B)
   Cache Used: 0 (0 B)
   Cache Remaining: 0 (0 B)
   Cache Used%: 100.00%
   Cache Remaining%: 0.00%
   Xceivers: 1
   Last contact: Wed Nov 21 23:44:46 CST 2018
   

2. -safemode：开启或关闭安全模式（安全模式默认关闭，开启后将不能进行写操作）。

   例 1：hdfs dfsadmin -safemode（查看有哪些参数）。

   [root@bigdata111 ~]# hdfs dfsadmin -safemode
   Usage: hdfs dfsadmin [-safemode enter | leave | get | wait]
   

   例 2：hdfs dfsadmin -safemode enter，进入安全模式。

   例 3：hdfs dfsadmin -safemode leave，退出安全模式。

   例 4：hdfs dfsadmin -safemode get，获取当前安全模式的状态。