Hadoop常用命令集合

1、mkdir

创建文件夹；
使用方法

hadoop fs -mkdir /path				#创建单个文件夹
hadoop fs -mkdir -p /path			#递归创建多个文件夹

2、ls、lsr

查看文件或文件夹信息；
使用方法

hadoop fs -ls /path
hadoop fs -lsr /path				#递归查看文件或文件夹信息

3、 mv

将文件从源路径移动到目标路径。这个命令允许有多个源路径，此时目标路径必须是一个目录。不允许在不同的文件系统间移动文件。
使用方法

hadoop fs -mv /path /url			#前面是原路径，后面是目标路径

4、put、copyFromLocal

从本地文件系统中复制单个或多个源路径（空格分隔）到目标文件系统。也支持从标准输入中读取输入写入目标文件系统；
使用方法

hadoop fs -put /path/file /path			#前面是文件名，后面是文件需要上传到的目标路径
hadoop fs -copyFromLocal /path/file /path		#限定一个文件

5、rm、rmr

rm只能删除指定的文件。不能删除文件夹;
rmr递归删除文件夹，即可删除含有其他文件或文件夹的文件夹；
使用方法

hadoop fs -rm /path/file				#删除指定文件
hadoop fs -rmr /path/file				#递归删除

6、tail

将文件尾部1K字节的内容输出到stdout；
使用方法

hadoop fs -tail [-f] /path/file

7、test

-e 检查文件是否存在。如果存在则返回0。
-z 检查文件是否是0字节。如果是则返回0。
-d 如果路径是个目录，则返回1，否则返回0。
使用方法

hadoop fs -test -e /path/file
hadoop fs -test -z /path/file
hadoop fs -test -d /path/file

8、text

将源文件输出为文本格式。允许的格式是zip和TextRecordInputStream；
使用方法

hadoop fs -text /path

9、touchz

创建一个0字节的空文件。
使用方法

hadoop -touchz file

10、cat

输出指定文件的内容；
使用方法

hadoop fs -cat /path/file

11、chgrp

改变文件所属的组。使用-R将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者超级用户。
使用方法

hadoop fs -chgrp [-R] group /path

12、chmod

改变文件的权限。使用 -R 将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者超级用户；
使用方法

hadoop fs -chmod [-R] ugo+rwx /path

13、chown

改变文件的拥有者。使用-R将使改变在目录结构下递归进行。命令的使用者必须是超级用户；
使用方法

hadoop fs -chown [-R] [OWNER][:[GROUP]] /path

14、get、copyToLocal

复制文件到本地文件系统。可用-ignorecrc选项复制 CRC 校验失败的文件。使用-crc选项复制文件以及 CRC 信息

hadoop fs -get [-ignorecrc] [-crc] <src> <localdst>			#前面是hdfs中的路径，后面是本机路径
hadoop fs -copyToLocal [-ignorecrc] [-crc] URI <localdst>			#限制一次一个文件

15、getmerge

接受一个源目录和一个目标文件作为输入，并且将源目录中所有的文件连接成本地目标文件。addnl是可选的，用于指定在每个文件结尾添加一个换行符。
使用方法

hadoop fs -getmerge <src> <localdst> [addnl]

16、cp

将文件从源路径复制到目标路径。这个命令允许有多个源路径，此时目标路径必须是一个目录；
使用方法

hadoop fs -cp /path1 /path2				#前面是原路径，后面是目标路径

17、du、dus

查看文件大小；
使用方法

hadoop fs -du /path/file			#若是文件夹路径，则输出该文件夹中所有文件大小
hadoop fs -dus /path/file1 /path/file2			#查看多个文件大小