HDFS的shell基本命令

HDFS的shell命令的操作：通过shell命令对分布式文件存储系统进行相关操作。HDFS是存取数据的分布式文件系统，那么对HDFS的操作，就是文件系统的基本操作，比如文件的创建、修改、删除、修改权限等，文件夹的创建、删除、重命名等。对HDFS的操作命令类似于Linux的shell对文件的操作，如ls、mkdir、rm等。

操作命令之前，保证hadoop集群是启动的状态

需要明确记忆的命令：

ls命令：（查询命令）

格式：hdfs dfs -ls URI

操作案例：

hdfs dfs -ls /

mkdir命令：（创建命令）

格式：hdfs dfs -mkdir [-p] <paths>

操作案例：

hdfs dfs -mkdir -p /aa/bb/cc

put命令：（用于上传文件操作）

格式：hdfs dfs -put <localsrc> ...<dst>

操作案例：

hdfs dfs -put aa.txt bb.txt cc.txt /aa/bb/cc

get命令：（用于下载数据）

格式：hdfs dfs -get [-ignorecrc] [-crc] <src><localdst>

操作案例：

hdfs dfs -get /file.tar.gz./

getmerge命令：（用于合并下载操作）

格式：hdfs dfs -getmerge <hdfs dir> <local file>

mv命令：（从hdfs某一个路径移动到hdfs的另一个路径下）

格式：hdfs dfs -mv URI

操作案例：

hdfs dfs -mv /aa/bb/cc/aa.txt /

rm命令：

格式：hdfs dfs -rm [-r] [-skipTrash] URI [URI...]

操作案例：

hdfs dfs -rm -r /aa

cp命令：

格式：hdfs dfs -cp URI [URI...] <dest>

操作案例：

hdfs dfs -cp /aa.txt /aa.sql  /aa

cat命令：

格式：hdfs dfs -cat URI [URI...]

操作案例：

hdfs dfs -cat /aa.sql

du命令：

格式：hdfs dfs -du URI

操作案例：

hdfs dfs -du /aaa.sql

chmod命令：

格式：hdfs dfs -chmod [-R] URI [URI...]

操作案例：

hdfs dfs -chmod 777 /aa.txt

appendToFile命令：追加数据操作

格式：hdfs dfs -appendToFile <localsrc>

操作命令：

hdfs dfs -appendToFile dd.txt /aa.txt

shell命令选项：

选项名称	使用格式	含义
-ls	-ls <路径>	查看指定路径的当前目录结构
-lsr	-lsr <路径>	递归查看指定路径的目录结构
-du	-du <路径>	统计目录下个文件大小
-dus	-dus <路径>	汇总统计目录下文件(夹)大小
-count	-count [-q] <路径>	统计文件(夹)数量
-mv	-mv <源路径> <目的路径>	移动
-cp	-cp <源路径> <目的路径>	复制
-rm	-rm [-skipTrash]  <路径>	删除文件/空白文件夹
-rmr	-rmr [-skipTrash]  <路径>	递归删除
-put	-put <多个linux上的文件> <hdfs路径>	上传文件
-copyFromLocal	-copyFromLocal  <多个linux上的文件>  <hdfs路径>	从本地复制
-moveFromLocal	-moveFromLocal  <多个linux上的文件>  <hdfs路径>	从本地移动
-getmerge	-getmerge <源路径> <linux路径>	合并到本地
-cat	-cat <hdfs路径>	查看文件内容
-text	-text <hdfs路径>	查看文件内容
-copyToLocal	-copyToLocal  [-ignoreCrc] [-crc] [hdfs源路径] [linux目的路径]	从本地复制
-moveToLocal	-moveToLocal  [-crc] <hdfs源路径> <linux目的路径>	从本地移动
-mkdir	-mkdir <hdfs路径>	创建空白文件夹
-setrep	-setrep [-R] [-w]  <副本数> <路径>	修改副本数量
-touchz	-touchz <文件路径>	创建空白文件
-stat	-stat [format]  <路径>	显示文件统计信息
-tail	-tail [-f] <文件>	查看文件尾部信息
-chmod	-chmod [-R] <权限模式> [路径]	修改权限
-chown	-chown [-R] 属主] 路径	修改属主
-chgrp	-chgrp [-R] 属组名称 路径	修改属组
-help	-help [命令选项]	帮助