Hadoop的HDFS介绍和操作

一、HDFS概述

        HDFS（Hadoop Distributed File System）：分布式文件系统

二、操作HDFS

        1、通过Web Console：50070、50090

        2、命令行

            （1）操作命令 hdfs dfs ****

                    -mkdir 创建目录

                     举例：hdfs dfs -mkdir /aaa

                                hdfs dfs -mkdir -p /bbb/ccc      -p表示如果父目录不存在 则先创建父目录

                    -ls    查看某个目录

                    -ls -R 查看某个目录，包括子目录，简写：-lsr

                    -put  上传数据    hdfs dfs -put data.txt /input

                    -copyFromLocal 上传数据     hdfs dfs -copyFromLocal data.txt /input

                    -moveFromLocal 上传数据（相当于ctrl + x 剪切）

                    -copyToLocal    下载数据

                    -get        下载数据

                    -rm 删除目录

                    -rm -r 删除目录（递归删除包括子目录）简写 -rmr

                            hdfs dfs -rmr /tools        

开启回收站后删除日志对比：

        未开启回收站删除日志：

rmr: DEPRECATED: Please use 'rm -r' instead.
开启回收站日志：
18/04/09 21:35:40 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 0 minutes, Emptier interval = 0 minutes.
Deleted /tools ---> 成功删除（对比：回收站）

                    -getmerge    把某个目录下的文件先合并，再下载（提高效率）

                        [root@bigdata111 temp]# vi student01.txt
[root@bigdata111 temp]# vi student02.txt
[root@bigdata111 temp]# hdfs dfs -mkdir /students
[root@bigdata111 temp]# hdfs dfs -put student0*.txt /students
[root@bigdata111 temp]# hdfs dfs -ls /students

[root@bigdata111 temp]# hdfs dfs -getmerge /students ~/temp/allstudent.txt

                    -cp    复制文件    hdfs dfs -cp /input/data.txt /input/data2.txt

                    -mv    移动文件    hdfs dfs -cp /input/data.txt /students

                    -count: hdfs dfs -count /students

                                     1                    2                29                        /students

                                目录个数        文件个数        文件总计大小        输入路径

                    -du 每个文件的大小

                        [root@bigdata111 temp]# hdfs dfs -du /students
19  /students/student01.txt

10  /students/student02.txt

                   -text、-cat     查看文件内容

                        hdfs dfs -cat /students/student01.txt

                    balancer:平衡操作

            （2）管理命令    hdfs dfsadmin ****

                    -report ： 输出HDFS的报告（Summary）

                    -safemode：安全模式