预装实验(1)：HDFS分布式文件系统

预装实验是实验2HDFS操作之前的准备

预装实验（1）

1. 【实验内容】1. 实验内容

本实验通过登录HDFS文件系统熟悉基本的HDFS操作。

1. 实验目标

   通过本实验掌握HDFS基本操作。

2. 实验知识点

   HDFS基本操作

3. 实验环境

   Hadoop

   CourseGrading在线实验环境

4. 预备知识

   Hadoop 基本操作

2.实验原理

HDFS完整命令

hadoop fs [generic options]    [-appendToFile <localsrc> ... <dst>]
    [-cat [-ignoreCrc] <src> ...]
    [-checksum <src> ...]
    [-chgrp [-R] GROUP PATH...]
    [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
    [-chown [-R] [OWNER][:[GROUP]] PATH...]
    [-copyFromLocal [-f] [-p] [-l] <localsrc> ... <dst>]
    [-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
    [-count [-q] [-h] <path> ...]
    [-cp [-f] [-p | -p[topax]] <src> ... <dst>]
    [-createSnapshot <snapshotDir> [<snapshotName>]]
    [-deleteSnapshot <snapshotDir> <snapshotName>]
    [-df [-h] [<path> ...]]
    [-du [-s] [-h] <path> ...]
    [-expunge]
    [-find <path> ... <expression> ...]
    [-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
    [-getfacl [-R] <path>]
    [-getfattr [-R] {-n name | -d} [-e en] <path>]
    [-getmerge [-nl] <src> <localdst>]
    [-help [cmd ...]]
    [-ls [-d] [-h] [-R] [<path> ...]]
    [-mkdir [-p] <path> ...]
    [-moveFromLocal <localsrc> ... <dst>]
    [-moveToLocal <src> <localdst>]
    [-mv <src> ... <dst>]
    [-put [-f] [-p] [-l] <localsrc> ... <dst>]
    [-renameSnapshot <snapshotDir> <oldName> <newName>]
    [-rm [-f] [-r|-R] [-skipTrash] <src> ...]
    [-rmdir [--ignore-fail-on-non-empty] <dir> ...]
    [-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]
    [-setfattr {-n name [-v value] | -x name} <path>]
    [-setrep [-R] [-w] <rep> <path> ...]
    [-stat [format] <path> ...]
    [-tail [-f] <file>]
    [-test -[defsz] <path>]
    [-text [-ignoreCrc] <src> ...]
    [-touchz <path> ...]
    [-truncate [-w] <length> <path> ...]
    [-usage [cmd ...]]

3.实验准备

1.进入终端

2.输入启动命令

在终端中输入./setuphadoop后，按Enter键，启动一键部署工具。

 3.在部署过程中的操作

在执行到下图的步骤时，需要按下两次Enter键继续执行。

主要是确认产生公共/私人 秘钥对 

输入密码，不输入的话就是密码为空

 4.部署完成

到下图步骤时，部署工具已执行完成。

5.验证是否部署成功

打开浏览器，访问172.18.0.2:50070，点击Datanodes栏目，查看三个slave节点是否在线。

此时集群已经部署完毕，可以继续进行实验了。

注：如果没有出现三个节点，请还原桌面，重新从1开始操作。

4. 【实验步骤】查看、创建与删除目录# 一、查看目录

命令使用格式：hadoop fs -ls 目录名

执行效果： 

 

二、创建目录

使用格式：hadoop fs -mkdir 目录名

 

执行效果：

注意事项：如果需要创建多层目录，可以使用参数“-p”。例如创建目录/test/test1/test2/test3，如果test3的上层目录都不存在，使用mkdir直接创建会报错，加上“-p“选项，就可以直接创建了。

三、删除目录

使用格式：hadoop fs -rm -r 目录名

执行效果：

5.文件的基本操作 

1. 【实验步骤】文件的基本操作# 一、文件上传

使用格式：hadoop fs -put 本地文件路径 HDFS文件路径

执行效果：

---

二、文件下载

使用格式：hadoop fs -get HDFS文件路径 本地文件路径

执行效果：

---

三、查看文件内容

使用格式：hadoop fs -cat 文件路径

执行效果：

 

---

四、查看文件大小

使用格式：hadoop fs -du 参数 目录或文件

执行效果：

 

注意事项：如果是目录的话，将会列出目录中每个文件的大小。目录中的子目录大小显示为0。

---

五、复制文件

使用格式：hadoop fs -cp 文件名 复制后的文件名

执行效果：

---

六、重命名/移动文件

使用格式：hadoop fs -mv 目录或文件 目录

执行效果：

 

---

七、文件权限修改

使用格式：hadoop fs -chmod 权限选项 目录或者文件

执行效果：

 

---

八、删除文件

使用格式：hadoop fs -rm 文件路径

执行效果：

6.查看文件系统信息

1. 【实验步骤】查看文件系统信息使用格式：hadoop fs -df -h

执行效果：