hadoop的基本操作 第一章 使用常用的Shell命令访问HDFS

前言

理解HDFS在Hadoop体系结构中的角色；

熟练使用常用的Shell命令访问HDFS；

---

提示：以下是本篇文章正文内容，下面案例可供参考

前提准备

进入实验环境后，需要通过jps命令确认hadoop环境是否已启动

如果出现这上图情况说明还没有hadoop未启动，接下来我们便需要启动Hadoop

cd /opt/hadoop/sbin

hadoop namenode -format

./start-all.sh

启动之后输入jps命令查看

1、掌握常用hdfs操作命令（hdfs dfs），执行并查看结果（可以在终端输入hdfs dfs -help查询命令用法）。

先通过vi在Linux本地创建三个文本文件：txt1.txt、txt2.txt、txt3.txt。文件文件里面随意输入些内容。

如下：

cd ~
vi txt1.txt

输入内容：
(提示：进入输入界面后先点字母I 键进行插入内容，写完内容之后，点击Esc键退出插入，输入“：”冒号符后，输入 wq! 回车即可保存完成输入 )

this is a file named txt1.txt

依次进行另外两个文件的创建：

vi txt2.txt

输入内容：

this is a file name txt1.txt

vi txt3.txt

this is a file named txt3.txt

(1)列出子目录或子文件

列出/user/ubuntu下的文件和目录(前提：/user/ubuntu}已经存在，否则报错)
用命令查看

hdfs dfs -ls

当查询结果为上图时，表示此目录不存在

先创建目录 /user/ubuntu

hdfs dfs -mkdir -p /user/ubuntu

再用命令查看

hdfs dfs -ls

列出根目录

hdfs dfs -ls /

(2)创建目录(-p表示父目录都会创建)

hdfs dfs -mkdir /666

hdfs dfs -mkdir /666/mydo2

hdfs dfs -mkdir -p /666/mydo/x/y/z

用 -p 表示z文件之前的 /666/mydo/x/y 这些父目录都会自动创建

hdfs dfs -mkdir /666/mydo3  /666/mydo4  /666/mydo5

注意：执行创建命令时，只要没有报错就说明创建成功了

(3) 列出HDFS文件下名为/666/mydemo的文件夹中的文件(-R表示列出所有子目录)

hdfs dfs -ls /666/mydo

hdfs dfs -ls -R /666/mydo

(4) 上传文件
将本地目录txt1.txt文件上传到HDFS上并重命名为hdfs1.txt：

hdfs dfs -put txt1.txt /666/mydo/hdfs1.txt

hdfs dfs -copyFromLocal txt2.txt /666/mydo.hdfs2.txt

注意：在执行上传命令时，只要没有报错就说明上传成功了
可以输入命令进行查看你上传的文件

hdfs dfs -ls /666/mydo

（5）本地文件移动到HDFS

hdfs dfs -moveFromLocal txt3.txt /666/mydo/hdfs3.txt

（注意：和上面上传不同之处在于，移动之后txt3.txt文件在本地就不存在了，而用上传的方法此文件在本地依旧存在）

(6)下载文件

将HDFS中的文件复制到本地系统并重命名为txt3.txt：

hdfs dfs -get /666/mydo/hdfs1.txt txt01.txt

hdfs dfs -copyToLocal /666/mydo/hdfs3.txt txt3.txt

注意：第一个下载命令重命名为txt01.txt，是因为txt1.txt已经存在，而txt3.txt这个文件被我们移到了 HDFS上，所以可以重命名为txt3.txt

(7) 查看文件

hdfs dfs -cat /666/mydo/hdfs1.txt

hdfs dfs -text /666/mydo/hdfs2.txt

(8) 删除文档

hdfs dfs -rm -r /666/mydo/hdfs3.txt

上图表示已经删除
查看

（9）文件或文件夹复制

hdfs dfs -cp /666/mydo/hdfs1.txt  /666/mydo/hdfs3.txt

注意：hdfs3.txt文件上面是已经删除了所以可以复制创建成功，否则会报错

（10）文件或文件夹的移动

hdfs dfs -mv /666/mydo/hdfs3.txt  /666/mydo/hdfs4.txt

注意：使用-mv 移动之后，hdfs3.txt文件就不存在了

（11）touchz 创建一个空文件file

hdfs dfs -touchz /666/mydo/hdfs5.txt

（12）追加到文件末尾的指令

hdfs dfs -appendToFile txt1.txt /666/mydo/hdfs5.txt

（13）文件合并再下载

hdfs dfs -getmerge /666/mydo merge.txt

（14）count统计（显示：目录个数， 文件个数， 文件总计大小 输入路径）

注意：第1个4代表有4个目录，第2个4代表有4个文件，121代表文件总大小，最后是输入路径

（15）查看文件大小

hdfs dfs -du /666/mydo

小知识点有兴趣的可以参考关注，后续会慢慢更新