【大数据清洗和预处理】1.8HDFS的shell操作（学习笔记）

HDFS常用命令操作实战
启动Hadoop集群

1、创建目录
（1）创建单层目录
执行命令：hdfs dfs -mkdir /ied

利用Hadoop WebUI查看创建的目录

（2）创建多层目录
执行命令：hdfs dfs -mkdir -p /luzhou/lzy

利用Hadoop WebUI查看创建的多层目录

2、查看目录
执行命令：hdfs dfs -ls /，查看根目录（可以在任何节点上查看，结果都是一样的）

执行命令：hdfs dfs -ls /luzhou

 
执行命令：hdfs dfs -ls -R /，递归查看/目录

3、上传本地文件到HDFS
创建test.txt文件，执行命令：echo "hello hadoop world" > test.txt

 

查看test.txt文件内容

上传test.txt文件到HDFS的/ied目录，执行命令：hdfs dfs -put test.txt /ied

查看是否上传成功

利用Hadoop WebUI界面查看

4、查看文件内容
执行命令：hdfs dfs -cat /ied/test.txt

5、下载HDFS文件到本地
先删除本地的test.txt文件

下载HDFS文件系统的/ied/test.txt到本地当前目录，执行命令：hdfs dfs -get /ied/test.txt

检查是否下载成功

可以将HDFS上的文件下载到本地指定位置，并且可以更改文件名

 

 

执行命令：hdfs dfs -get /ied/test.txt /home/exam.txt

检查是否下载成功

6、删除HDFS文件
执行命令：hdfs dfs -rm /ied/test.txt

 

 

检查是否删除成功

 

使用通配符，可以删除满足一定特征的文件

7、删除HDFS目录
执行命令：hdfs dfs -rmdir /luzhou

提示-rmdir命令删除不了非空目录。
要递归删除才能删除非空目录：hdfs dfs -rm -r /luzhou

 

8、移动目录或文件
将/ied目录更名为/ied01，执行命令：hdfs dfs -mv /ied /ied01

 

利用Hadoop WebUI查看是否更名成功

 将test.txt文件上传到/ied01目录，

将/ied01/test.txt更名为/ied/exam.txt，执行命令：hdfs dfs -mv /ied01/test.txt /ied01/exam.txt