4.3 HDFS的shell操作

一、导入新课

上一节中，主要讲解了HDFS的架构和原理，使得学生更深入的了解HDFS的底层架构以及读写数据的原理，那我们该如何访问HDFS呢？HDFS提供了多种数据访问方式，而Shell命令行方式是最简单的，也是许多开发者最容易掌握的方式，本节将针对HDFS的Shell操作进行详细讲解

二、了解HDFS常用Shell命令 

1.三种shell命令方式

https://hadoop.apache.org/docs/r3.3.4/hadoop-project-dist/hadoop-common/FileSystemShell.html

2、FileSystem Shell文档 

查看cat命令用法

（三）HDFS常用命令操作实战

启动Hadoop集群

1、创建目录 

执行命令：hdfs dfs -mkdir /ied

利用Hadoop WebUI查看创建的目录

（2）：创建多层目录

执行命令：hdfs dfs -mkdir /luzhou/lzy，会报错，因为/luzhou目录不存在

• 当然，可以先创建/luzhou目录，然后在里面再创建lzy子目录，但是也可以一步到位，需要一个-p参数
• 执行命令：hdfs dfs -mkdir -p /luzhou/lzy

 利用Hadoop WebUI查看创建的多层目录

2。查看目录

执行命令：hdfs dfs -ls /，查看根目录（可以在任何节点上查看，结果都是一样的）

• 执行命令：hdfs dfs -ls /luzhou

• 如果我们要查看根目录里全部的资源，那么要用到地柜参数-R（必须大写）
• 执行命令：hdfs dfs -ls -R /，递归查看/目录

 3.上传文件到HDFS 

• 创建test.txt文件，执行命令：echo "hello hadoop world" > test.txt

查看test.txt文件内容  

执行命令：cat test.txt

• 利用Hadoop WebUI界面查看

4、查看文件内容  

• 执行命令：hdfs dfs -cat /ied/test.txt

 5、下载HDFS文件到本地

• 先删除本地的test.txt文件,执行命令：rm -rf test.txt

• 可以将HDFS上的文件下载到本地指定位置，并且可以更改文件名

• 执行命令：hdfs dfs -get /ied/test.txt /home/exam.txt

6、删除HDFS文件  

• 执行命令：hdfs dfs -rm /ied/test.txt

• 检查是否删除成功,执行命令：hdfs dfs -ls /ied/test.txt

 

• 使用通配符，可以删除满足一定特征的文件 执行命令：hdfs dfs -rm /ied/t*
• 解析：“t*”，意为删除以‘t’开头的文件。 

7、删除HDFS目录 

• 执行命令：hdfs dfs -rmdir /luzhou

• 提示-rmdir命令删除不了非空目录。
• 要递归删除才能删除非空目录：hdfs dfs -rm -r /luzhou（-r：recursive）

8、移动目录或文件 

• 利用Hadoop WebUI查看是否更名成功

• 查看改名后的test.txt文件内容，执行命令：hdfs dfs-cat /ied01/test.txt

9、文件合并下载 

• 现在/ied01里有一个test.txt，创建sport.txt和music.txt并上传

• 合并/ied01目录的文件下载到本地当前目录的merger.txt，执行命令：hdfs dfs -getmerge /ied01/* merger.txt

• 下面，查看本地的merger.txt，看是不是三个文件合并后的内容