二、实验平台
- 操作系统:Linux。
- Hadoop 版本:Hadoop-3.2.1。
- JDK 版本:java-8-openjdk-amd64。
- Java IDE:Eclipse。
三、实验内容和要求
3.1、HDFS 目录操作
Hadoop 系统安装好之后,第一次使用 HDFS 时,在初始化并启动之后,首先需要在 HDFS 中创建用户目录。
3.1.1、创建用户目录
本次实验全部采用 bailu 用户登录 Linux 系统,故在 HDFS 中为 bailu 用户创建用户目录,命令如下:
cd /usr/local/hadoop/hadoop-3.2.1
./bin/hdfs dfs -mkdir -p /user/bailu
具体如下图所示:
说明:该命令表示在 HDFS 中创建一个 /user/bailu 的目录。
- -mkdir 是创建目录的操作。
- -p 表示如果是多级目录,则父目录和子目录一起创建。
注意:这里 /user/bailu 就是一个多级目录,因此必须使用参数 -p,否则会出错。
3.1.2、显示 HDFS 中与当前用户对应的目录内容
/user/bailu 目录就成为 bailu 用户对应的用户目录。
我们可以使用如下命令显示 HDFS 中与当前 bailu 对应的用户目录下的内容:
./bin/hdfs dfs -ls .
说明:
- -ls 表示列出 HDFS 某个目录下的所有内容。
- . 表示 HDFS 中当前用户目录,也就是 /user/bailu 目录。
等价于:
./bin/hdfs dfs -ls /user/bailu
3.1.3、列出 HDFS 上的所有目录
如果要列出 HDFS 上的所有目录,可以使用如下命令:
./bin/hdfs dfs -ls
3.1.4、用户目录下创建一个 input 目录
在 bailu