HDFS常用基本指令

本文仅包括一些基本常用指令，适合新手入门，仅供参考。


ls

格式：hdfs dfs -ls [-R] URI
作用：类似于Linux的ls命令，显示文件夹列表
-R：递归显示所有文件和文件夹
示例：hdfs  dfs -ls  /

mkdir

格式 ： hdfs  dfs [-p] -mkdir <paths>
-p：递归创建多级文件夹
作用  : 创建目录(文件夹)
示例：hdfs dfs -mkdir -p /test/hello/world

put

格式   ： hdfs dfs -put <localsrc >  ... <dst>
作用：将本地系统的一个或多个文件上传到HDFS指定目录中。
	 也可以从标准输入中读取输入，写入HDFS中。
示例：hdfs dfs -put  /rooot/a.txt  /dir1

moveFromLocal

格式： hdfs  dfs -moveFromLocal  <localsrc>   <dst>
作用：与 put 命令类似，区别在于moveToLocal在上传到HDFS后，会将源数据删除

get

格式   hdfs dfs  -get [-ignorecrc ]  [-crc]  <src> <localdst>
作用：将HDFS中的文件拷贝到本地系统中。
	 CRC 校验失败的文件通过-ignorecrc选项拷贝，文件和CRC校验和可以通过-CRC选项拷贝
示例：hdfs dfs  -get   /install.log  /export/servers

mv

格式： hdfs  dfs -mv URI   <dest>
作用：移动文件或重命名文件，与linux的mv指令类似。不能跨文件系统。
示例：hdfs  dfs  -mv  /dir1/a.txt   /dir2

rm

格式： hdfs dfs -rm [-r] [-skipTrash] URI [URI ……]
作用：删除一个或多个文件或文件夹，默认只能删除文件和空文件夹
-r：可删除非空文件夹
-skipTrash：（在有回收站的前提下）跳过回收站直接删除
示例：hdfs  dfs  -rm  -r  /dir1

cp

格式:     hdfs  dfs  -cp URI [URI ...] <dest>
作用：拷贝文件到指定目录
-f：如果已存在则覆盖
-p：保留文件属性（时间戳、所有权等）
示例：hdfs dfs -cp /dir1/a.txt  /dir2/b.txt

cat

hdfs dfs  -cat  URI [uri  ...]
作用：打印文件内容。类似于linux中的cat
示例：hdfs dfs  -cat /install.log

chmod

格式：hdfs   dfs  -chmod  [-R]  URI[URI  ...]
-R：对整个文件夹递归执行
作用：更改文件权限，仅此文件的所有者或root用户可用。
示例：hdfs dfs -chmod -R 777 /install.log

chown

格式:      hdfs   dfs  -chmod  [-R]  URI[URI  ...]
-R：对整个文件夹及以下文件和文件夹递归执行
作用：改变所属用户和所属用户组，必须所属用户和超级用户才能执行
示例：hdfs  dfs  -chown  -R hadoop:hadoop  /install.log

appendToFile

格式: hdfs dfs -appendToFile <localsrc> ... <dst>
作用：追加一个或多个文件内容到指定文件中。通常用于合并小文件（HDFS适合存储大文件）
示例： hdfs dfs -appendToFile  a.xml b.xml  /big.xml