BigData大数据技术——完成HDFS文件系统管理

前言

本博客文章已收录至专栏大数据技术，阅读其他有关博客笔记请转至该专栏下查阅

传送门 -->BigData大数据技术

---

0. 操作准备相关

操作本文章步骤需要前置准备操作（也就是我本人的对自己的电脑做的前置操作）

0.1 安装VMware虚拟机，且在VMware里面装好CentOS 7系统，且完成虚拟机的网络配置（桥接或者NAT连接）

0.2 安装Xshell，且成功连接VM虚拟机中的CentOS7

0.3 通过Xshell完成对CentOS 7的jdk配置和hadoop配置

0.4 打开hadoop，尝试成功运行hadoop相关操作

1. HDFS概述

HDFS是Hadoop分布式文件系统的简称，它是一种高度容错性的系统，允许在低成本的硬件上存储和处理大量的数据。与传统的文件系统相比，HDFS具有更高的可靠性和可扩展性，能够处理大量非结构化和结构化的数据。

---

2. 操作步骤简述

本文章只涉及以下HDFS相关操作

2.1 启动和停止HDFS

在安装和配置完成后，可以启动和停止HDFS。这可以通过使用Hadoop的启动脚本来完成。启动时，需要指定名称节点和数据节点的内存大小、端口号等参数。停止时，只需要停止名称节点即可，因为数据节点会自动停止。

2.2 创建目录和文件

使用Hadoop的Shell命令可以创建目录和文件。例如，“hdfs dfs -mkdir /user/test”可以创建一个名为“test”的目录，“hdfs dfs -touch /user/test/data.txt”可以创建一个名为“data.txt”的文件。

2.3 写入和读取数据

使用Hadoop的Shell命令可以将数据写入到HDFS中，例如“hdfs dfs -put localfile /user/test/data.txt”将本地文件“localfile”上传到“/user/test/data.txt”中。同样地，使用“hdfs dfs -cat /user/test/data.txt”可以读取并显示文件“data.txt”的内容。

---

3. 具体操作步骤

3.1 在本地文件目录下新建一个hadoop_test／test.txt文件

在txt类型文件中写上示例文字 -->>（Sakurapaid）

如下图，hadoop创建在 /usr/local 中，这是需要自己记住的

---

3.2 在HDFS文件系统中创建 hdfs＿test 目录

3.2.1 先启动hadoop

本文章对于hadoop的安装操作不会说明解释

---

3.2.2 再创建hdfs_test目录

创建目录代码：hdfs dfs -mkdir /hdfs_test

查看HDFS文件系统中是否创建成功代码：hdfs dfs -ls /

 

---

3.3 将本地test.txt文件上传到hdfs_test目录中，并检查是否上传成功，并在HDFS上查看test.txt文件内容

3.3.2 上传代码：hdfs dfs -put /usr/local/hadoop-3.2.1/hadoop_test/test.txt /hdfs_test/

3.3.3 检查是否上传成功：hdfs dfs -ls /hdfs_test/

3.3.4 查看test.txt文件内容：hdfs dfs -cat /hdfs_test/test.txt

（在开头，我在本地写的就是“Sakurapaid”）

3.3.5 之后，在本地test.txt文件末尾追加一行记录

在本地txt文件添加记录：echo "追加的内容" >> hadoop_test/test.txt

3.3.6 将本地文件的内容追加到HDFS中的文件中

hdfs dfs -appendToFile hadoop_test/test.txt /hdfs_test/test.txt

3.4 将HDFS上的hdfs_test/test.txt文件

下载到本地hadoop_test/test01.txt文件中，并在本地查看该文件

下载代码：hdfs dfs -get /hdfs_test/test.txt test01.txt

（代码有点长，分两张图一起看）

 

在本地查看：cat test01.txt

---

3.4 将HDFS文件系统中的test.txt文件删除，并查看是否删除成功

删除操作：hdfs dfs -rm /hdfs_test/test.txt

检查操作：hdfs dfs -ls /hdfs_test/