HDFS操作

大数据集群和云桌面实验环境是联动的，在实验平台对云桌面实验环境进行创建、停止、启动、还原等操作时，会同时对大数据集群进行相应的操作。

接下来，以1主3从的4节点大数据集群为例进行说明。

1. 大数据集群的创建

当你第一次进入云桌面实验环境时，平台会在后台服务器上为你创建云桌面环境，创建完毕后（这时候你在浏览器上可以看到云桌面了），平台会继续创建大数据集群。

由于第一次创建大数据集群时，需要进行集群的初始化操作。因此，集群创建有一定的延迟（大约30秒）。

注意：你需要等待集群成功初始化后，才可以在云桌面实验环境中进行大数据实验的相关操作。

你可以通过点击实验手册上栏右侧的更多-->容器启动日志来查看集群是否初始化成功，如下图所示：

创建大数据集群时产生的日志在“=== docker create ===”分割线下方，如下图所示：

当你在集群创建日志中（需要下拉浏览器滚动条）能看到如下图所示的提示时，就说明集群已经创建成功了。

如果未看到该信息，你可以通过再次点击更多-->容器启动日志的方式刷新日志信息，直到确认集群成功创建后，才可以继续做大数据实验。

2. 大数据集群的停止

当你退出云桌面实验环境页面（关闭页面或者跳转到其他页面）超过30分钟时，平台会自动关闭云桌面实验环境。

同时，平台也会同步地关闭你的大数据集群。

3. 大数据集群的启动

当你在云桌面实验环境处于关闭状态打开云桌面实验环境时，平台会自动启动你的云桌面环境，同时，平台也会同步启动你的大数据集群。

启动大数据集群时产生的日志在“=== docker start ===”分割线下方，如下图所示：

当你在集群启动日志中能看到如下图所示的提示时，就说明集群已经启动成功了。

如果未看到该信息，你可以通过再次点击更多-->容器启动日志的方式刷新日志信息，直到确认集群成功启动后，才可以继续做大数据实验。

4. 大数据集群的重启

当你点击实验手册上栏右侧的更多-->重新启动重启云桌面实验环境时，实验平台也会自动重启大数据集群。

实验平台会首先对大数据集群进行停止操作，然后再进行启动操作。

因此，你可以通过查看集群的启动日志来确认集群是否启动成功。

5. 大数据集群的还原

当你点击实验手册上栏右侧的更多-->桌面还原还原云桌面实验环境时，实验平台也会自动还原大数据集群。

实验平台会首先对大数据集群进行停止操作，然后再进行删除操作，最后再进行创建操作。

因此，你可以通过查看集群的创建日志来确认还原后的集群是否创建成功。

6. 访问大数据集群

实验平台自动实现了云桌面实验环境到大数据集群各节点的ssh无密码访问。因此，你打开终端后，可以直接用ssh命令登录各节点。

在云桌面实验环境中，点击鼠标右键，选择Open Terminal Here打开Linux终端，如下图所示。

通过命令ssh master可无密码登录master节点（通过exit命令可退出登录），如下图所示：

通过命令ssh slave1可无密码登录slave1节点，如下图所示。

同理，通过命令ssh slave2可无密码登录slave2节点，通过命令ssh slave3可无密码登录slave3节点。

可通过cat /etc/hosts查看当前集群的配置，下图所示的hosts文件说明当前的大数据集群是包含1个主节点和3个从节点的4节点集群。

如果大数据集群是1主9从的10节点集群，那你用cat /etc/hosts命令应该可以看到一个master节点和9个slave节点（slave1-slave9）。

开启服务

集群中提供了大数据服务的启动脚本。如下所示：

以hadoop服务为例，如下操作：

(master) > bash /scripts/hadoop/start-hadoop.sh

验证如下：

创建工作目录

下面实验操作在云桌面终端，即Tab1终端上执行。

root@cg:~/Desktop# mkdir -p ~/Desktop/workspace/hdfs_op
root@cg:~/Desktop# cd ~/Desktop/workspace/hdfs_op
root@cg:~/Desktop/workspace/hdfs_op# 

一、查看目录

命令使用格式：hadoop fs -ls 目录名

root@cg:~/Desktop/workspace/hdfs_op# hadoop fs -ls /

执行效果：

---

二、创建目录

使用格式：hadoop fs -mkdir 目录名

root@cg:~/Desktop/workspace/hdfs_op# hadoop fs -mkdir /newDir
root@cg:~/Desktop/workspace/hdfs_op# 

执行效果：

再次查看目录，可以看见新建的目录。

root@cg:~/Desktop/workspace/hdfs_op# hadoop fs -ls /

执行效果：

注意事项：如果需要创建多层目录，可以使用参数“-p”。例如创建目录/test/test1/test2/test3，如果test3的上层目录都不存在，使用mkdir直接创建会报错，加上“-p“选项，就可以直接创建了。

---

三、删除目录

使用格式：hadoop fs -rm -r 目录名

root@cg:~/Desktop/workspace/hdfs_op# hadoop fs -rm -r /newDir

执行效果：

再次查看目录，可以看见目录已被删除了。

root@cg:~/Desktop/workspace/hdfs_op# hadoop fs -ls /

执行效果：

 

 

一、文件上传

使用格式：hadoop fs -put 本地文件路径 HDFS文件路径

root@cg:~/Desktop/workspace/hdfs_op# pwd
/headless/Desktop/workspace/hdfs_op
root@cg:~/Desktop/workspace/hdfs_op# echo "hello" > hello.txt
root@cg:~/Desktop/workspace/hdfs_op# hadoop fs -mkdir /newDir
root@cg:~/Desktop/workspace/hdfs_op# hadoop fs -put hello.txt /newDir
root@cg:~/Desktop/workspace/hdfs_op# hadoop fs -ls /newDir
Found 1 items
-rw-r--r--   4 root supergroup          6 2022-02-26 14:50 /newDir/hello.txt
root@cg:~/Desktop/workspace/hdfs_op# hadoop fs -cat /newDir/hello.txt
hello

执行效果：

---

二、文件下载

使用格式：hadoop fs -get HDFS文件路径 本地文件路径

root@cg:~/Desktop/workspace/hdfs_op# hadoop fs -get /newDir/hello.txt hello_get.txt
21/06/17 14:17:56 WARN hdfs.DFSClient: DFSInputStream has been closed already
root@cg:~/Desktop/workspace/hdfs_op# cat hello_get.txt
hello
root@cg:~/Desktop/workspace/hdfs_op# 

执行效果：

---

三、查看文件内容

使用格式：hadoop fs -cat 文件路径

root@cg:~/Desktop/workspace/hdfs_op# hadoop fs -cat /newDir/hello.txt
hello
root@cg:~/Desktop/workspace/hdfs_op# 

执行效果：

---

四、查看文件大小

使用格式：hadoop fs -du 参数 目录或文件

root@cg:~/Desktop/workspace/hdfs_op# ls -l hello.txt
root@cg:~/Desktop/workspace/hdfs_op# hadoop fs -du /newDir
root@cg:~/Desktop/workspace/hdfs_op# 

执行效果：

注意事项：如果是目录的话，将会列出目录中每个文件的大小。目录中的子目录大小显示为0。

---

五、复制文件

使用格式：hadoop fs -cp 文件名 复制后的文件名

root@cg:~/Desktop/workspace/hdfs_op# hadoop fs -cp /newDir/hello.txt /newDir/hello_cp.txt
root@cg:~/Desktop/workspace/hdfs_op# hadoop fs -cat /newDir/hello_cp.txt

执行效果：

---

六、重命名/移动文件

使用格式：hadoop fs -mv 目录或文件 目录

root@cg:~/Desktop/workspace/hdfs_op# hadoop fs -mv /newDir/hello.txt /newDir/hello_mv.txt
root@cg:~/Desktop/workspace/hdfs_op# hadoop fs -ls /newDir

执行效果：

---

七、文件权限修改

使用格式：hadoop fs -chmod 权限选项 目录或者文件

root@cg:~/Desktop/workspace/hdfs_op# hadoop fs -ls /newDir
root@cg:~/Desktop/workspace/hdfs_op# hadoop fs -chmod 777 /newDir/hello_mv.txt
root@cg:~/Desktop/workspace/hdfs_op# hadoop fs -ls /newDir

执行效果：

---

八、删除文件

使用格式：hadoop fs -rm 文件路径

root@cg:~/Desktop/workspace/hdfs_op# hadoop fs -ls /newDir
root@cg:~/Desktop/workspace/hdfs_op# hadoop fs -rm /newDir/hello_mv.txt
root@cg:~/Desktop/workspace/hdfs_op# hadoop fs -ls /newDir

执行效果：

使用格式：hadoop fs -df -h

root@cg:~/Desktop/workspace/hdfs_op# hadoop fs -df -h

执行效果：

 大实验

题目说明

1、使用hdfs命令在hdfs文件系统上创建文件夹/mydir；

2、在master节点上以自己的学号作为文件名创建一个文件，文件的内容是一小段随意的英文；

3、使用hdfs命令将该文件上传到hdfs文件系统上的/mydir文件夹下；

4、使用hdfs命令浏览该文件的内容；

5、将该文件重命名为 homework.txt；

6、将该文件的权限修改为仅自己可以读写，即rw-------；

7、将上传的文件删除。

master

文件权限修改

 删除文件