HDFS文件管理

实验环境
Linux Ubuntu 16.04
前提条件：
1）Java 运行环境部署完成
2）Hadoop 的单点部署完成
 

实验内容
在上述前提条件下，学习HDFS文件的管理操作

实验步骤

1.点击桌面的"命令行终端"，打开新的命令行窗口

2.启动HDFS

启动HDFS，在命令行窗口输入下面的命令：

/apps/hadoop/sbin/start-dfs.sh

运行后显示如下，根据日志显示，分别启动了NameNode、DataNode、Secondary NameNode：

dolphin@tools:~$ /apps/hadoop/sbin/start-dfs.sh 
Starting namenodes on [localhost]
localhost: Warning: Permanently added 'localhost' (ECDSA) to the list of known hosts.
Starting datanodes
Starting secondary namenodes [tools.hadoop.fs.init]
tools.hadoop.fs.init: Warning: Permanently added 'tools.hadoop.fs.init,172.22.0.2' (ECDSA) to the list of known hosts.

3.查看HDFS相关进程

在命令行窗口输入下面的命令：

jps

运行后显示如下，表明NameNode、DataNode、Secondary NameNode已经成功启动

dolphin@tools:~$ jps
484 DataNode
663 SecondaryNameNode
375 NameNode
861 Jps

4.准备要上传的文件

在命令行窗口输入下面的命令：

hadoop fs -put ./test.txt /

运行后，已经本地的test.txt文件上传到HDFS的根目录下

5.查看文件

在命令行窗口输入下面的命令：

hadoop fs -ls /

运行后显示如下，此时test.txt文件已经在HDFS的目录下

dolphin@tools:~$ hadoop fs -ls /
Found 1 items
-rw-r--r--   1 dolphin supergroup        306 2019-11-18 16:09 /test.txt

在命令行窗口输入下面的命令：

hadoop fs -cat /test.txt

运行后显示如下：

dolphin@tools:~$ hadoop fs -cat /test.txt
Tape Scripts Test One I Understanding Basic Skill Directions: Listen to the following passage carefully and fill in the blanks with words and phrases or sentences you hear.
 (30 points) All big cities are quite similar. 
Living in a modern Asian city is not very different from living in an American city.

6.创建HDFS文件夹

在命令行窗口输入下面的命令：

hadoop fs -mkdir /dir

运行后，此时在HDFS根目录下创建了dir文件夹

7.剪切HDFS文件

在命令行窗口输入下面的命令：

hadoop fs -mv /test.txt /dir

在命令行窗口输入下面的命令：

hadoop fs -ls /dir

运行后显示如下，表明HDFS文件已经剪切到/dir目录下

dolphin@tools:~$ hadoop fs -ls /dir
Found 1 items
-rw-r--r--   1 dolphin supergroup        306 2019-11-18 16:09 /dir/test.txt

8.复制HDFS文件

在命令行窗口输入下面的命令：

hadoop fs -cp /dir/test.txt /dir/test2.txt

运行后显示如下，表明HDFS文件复制成功

dolphin@tools:~$ hadoop fs -ls /dir
Found 1 items
-rw-r--r--   1 dolphin supergroup        306 2019-11-18 16:09 /dir/test.txt
-rw-r--r--   1 dolphin supergroup        306 2019-11-18 16:11 /dir/test2.txt

9.查看文件大小

在命令行窗口输入下面的命令：

hadoop fs -du -s /dir/test.txt

运行后显示如下，第一个数字表示HDFS单副本的大小，第二个表示该文件所有副本的大小

dolphin@tools:~$ hadoop fs -du -s /dir/test.txt
306  306  /dir/test.txt

10.删除HDFS文件

在命令行窗口输入下面的命令：

hadoop fs -rm /dir/*

运行后显示如下，表明文件已经成功被删除

dolphin@tools:~$ hadoop fs -rm /dir/*
Deleted /dir/test.txt
Deleted /dir/test2.txt

至此，本实验结束啦，开始下一个实验吧。