Hadoop fs 命令

1、ls

列出路径指定的目录中的内容，示出了名称，权限，拥有者，大小和修改日期的每个条目。

root:hadoop2.9 home$ bin/hadoop fs -ls /
Found 2 items
drwx-wx-wx   - root supergroup          0 2019-01-27 10:29 /tmp
drwxr-xr-x   - root supergroup          0 2019-01-27 14:49 /xytest

2、lsr

行为类似于-ls，但递归显示路径的所有子目录项。

root:hadoop2.9 home$ bin/hadoop fs -ls R /xytest
ls: `R': No such file or directory
Found 6 items
-rw-r--r--   1 root supergroup        311 2019-01-27 10:48 /xytest/file.txt
-rw-r--r--   1 root supergroup         13 2019-01-27 14:41 /xytest/hello_world.txt
drwxr-xr-x   - root supergroup          0 2019-01-27 14:49 /xytest/result
drwxr-xr-x   - root supergroup          0 2019-01-27 14:45 /xytest/result.txt
-rw-r--r--   1 root supergroup         16 2019-01-27 13:57 /xytest/username.txt
drwxr-xr-x   - root supergroup          0 2019-01-27 14:49 /xytest/worldResult

3、du

显示磁盘使用率，以字节为单位，对所有的文件，这些文件匹配的路径;文件名报告使用完整HDFS协议前缀。

root:hadoop2.9 home$ bin/hadoop fs -du /      
311  /tmp
391  /xytest

4、dus

类似-du，但打印路径中的所有文件/目录的磁盘使用情况的摘要。

root:hadoop2.9 home$ bin/hadoop fs -du -s  /xytest
391  /xytest

5、mv

通过移动表示src到dest，在HDFS的文件或目录。

root:hadoop2.9 home$ bin/hadoop fs -mv /xytest/file.txt /tmp/fileNew.txt

6、cp

在HDFS复制确定src中的文件或目录到dest。

root:hadoop2.9 home$ bin/hadoop fs -cp /tmp/fileNew.txt /xytest/    

7、rm 删除文件或路径标识的空目录。

root:hadoop2.9 home$ bin/hadoop fs -rm /xytest/fileNew.txt         
Deleted /xytest/fileNew.txt

8、rmr

删除路径标识的文件或目录。递归删除所有子条目（例如，文件或路径的子目录）。

root:hadoop2.9 home$ bin/hadoop fs -rmr /xytest/newYear
rmr: DEPRECATED: Please use '-rm -r' instead.
Deleted /xytest/newYear

9、put

从本地localSrc文件系统中的DFS标识文件或目录内复制到dest。
copyFromLocal 等同于put

root:hadoop2.9 home$ bin/hadoop fs -put ./username.txt /xytest/usernameTmp.txt
root:hadoop2.9 home$ bin/hadoop fs -copyFromLocal ./username.txt /xytest/usernameTmp2.txt

10、moveFromLocal

从标识 localSrc本地文件系统中的文件或目录中HDFS复制到dest，然后删除本地副本上成功。

root:hadoop2.9 home$ bin/hadoop fs -moveFromLocal  ./moveFromLocal.txt /xytest/

11、get [-crc]

拷贝标识 src 来确定localDest本地文件系统路径HDFS文件或目录。
copyToLocal <src> <localDest>等同于 -get

root:hadoop2.9 home$ bin/hadoop fs -get  /xytest/moveFromLocal.txt ./

12、getmerge

检索匹配的路径的src HDFS中的所有文件，并将它们复制合并文件到标识localDest本地文件系统中。

root:hadoop2.9 home$ bin/hadoop fs -getmerge  /xytest/ ./xytest.txt
root:hadoop2.9 home$ cat xytest.txt 
Hello Hadoop
moveFromLocal
hadoop username
hadoop username
hadoop username

13、cat

显示在标准输出文件名的内容。

root:hadoop2.9 home$ bin/hadoop fs -cat  /xytest/username.txt 
hadoop username

14、moveToLocal

工作方式类似于-get，但删除HDFS复制成功。

root:hadoop2.9 home$ bin/hadoop fs -moveToLocal /xytest/file.txt ./usernameMoveToLocal.txt
moveToLocal: Option '-moveToLocal' is not implemented yet.

15、mkdir

在创建一个HDFS命名的目录路径。 创建任何父目录的路径丢失（例如，命令mkdir-p在Linux中）。
注意: 但不支持类似于mkdirs多层目录创建

root:hadoop2.9 home$ bin/hadoop fs -mkdir /xytest/2019/01/27/                       
mkdir: `/xytest/2019/01/27/': No such file or directory
root:hadoop2.9 home$ bin/hadoop fs -mkdir /xytest/2019/ 

16、setrep [-R] [-w] rep

设置标识路径代表文件的目标文件复制因子。 （实际的复制因子会向着随着时间的推移目标移动）

查看文件副本数，第二列的1表示1个副本

root:hadoop2.9 home$bin/hadoop fs -ls /xytest/           
Found 9 items
drwxr-xr-x   - root supergroup          0 2019-01-27 20:42 /xytest/2019
-rw-r--r--   1 root supergroup         13 2019-01-27 14:41 /xytest/hello_world.txt
-rw-r--r--   1 root supergroup         14 2019-01-27 20:36 /xytest/moveFromLocal.txt

设置副本数为2

root:hadoop2.9 home$ bin/hadoop fs -setrep -w 2  /xytest 
Replication 2 set: /xytest/hello_world.txt
Replication 2 set: /xytest/moveFromLocal.txt

在次查看文件副本数

root:hadoop2.9 home$ bin/hadoop fs -ls /xytest/
drwxr-xr-x   - root supergroup          0 2019-01-27 20:42 /xytest/2019
-rw-r--r--   2 root supergroup         13 2019-01-27 14:41 /xytest/hello_world.txt
-rw-r--r--   2 root supergroup         14 2019-01-27 20:36 /xytest/moveFromLocal.txt

减去文件副本数量

root:hadoop2.9 home$ bin/hadoop fs -setrep -R 1  /xytest
Replication 1 set: /xytest/hello_world.txt
Replication 1 set: /xytest/moveFromLocal.txt

在次查看文件副本数量

root:hadoop2.9 home$ bin/hadoop fs -ls /xytest/
drwxr-xr-x   - root supergroup          0 2019-01-27 20:42 /xytest/2019
-rw-r--r--   1 root supergroup         13 2019-01-27 14:41 /xytest/hello_world.txt
-rw-r--r--   1 root supergroup         14 2019-01-27 20:36 /xytest/moveFromLocal.txt

17、touchz

创建在路径包含当前时间作为时间戳的文件。失败如果文件已经存在于路径，除非文件已经大小为0。(创建一个0字节的空文件,没有弄太明白。)

root:hadoop2.9 home$ bin/hadoop fs -touchz  /xytest/touchzDir.txt

18、test -[ezd]

 返回1，如果路径存在;长度为零;或者是一个目录，否则为0。
 没有任何返回值，目录存在应该返回1才对。

root:hadoop2.9 home$ bin/hadoop fs -test -d /xytest/

19、stat [format]

打印有关的路径信息。格式是接受块文件大小（％b），文件名（％n），块大小（%o），复制（％r）和修改日期（％y，％Y）的字符串。

root:hadoop2.9 home$ bin/hadoop fs -stat %b%n%o%r%y /xytest/
0xytest002019-01-27 12:51:41
root:hadoop2.9 home$ bin/hadoop fs -stat /xytest/
2019-01-27 12:51:41

20、tail [-f]

显示在标准输出文件的最后1KB。

root:hadoop2.9 home$ bin/hadoop fs -tail /xytest/hello_world.txt
Hello Hadoop

21、chmod [-R] mode,mode,… …

变化符合路径标识的一个或多个对象关联的文件权限....递归执行变更与R.模式是3位八进制模式，或{augo}+/-{rwxX}。假设如果没有指定范围，则不适用umask。

root:hadoop2.9 home$ bin/hadoop fs -chmod -R 777  /xytest/
root:hadoop2.9 home$ bin/hadoop fs -ls /xytest/
drwxrwxrwx   - root supergroup          0 2019-01-27 20:42 /xytest/2019
-rwxrwxrwx   1 root supergroup         13 2019-01-27 14:41 /xytest/hello_world.txt

22、chown [-R] [owner][:[group]] …

设置拥有用户和/或组标识路径的文件或目录....设置所有者递归，如果指定-R。

root:hadoop2.9 home$ bin/hadoop fs -chown -R root:supergroup  /xytest/
root:hadoop2.9 home$ bin/hadoop fs -ls /xytest/
drwxrwxrwx   - root supergroup          0 2019-01-27 20:42 /xytest/2019
-rwxrwxrwx   1 root supergroup         13 2019-01-27 14:41 /xytest/hello_world.txt
-rwxrwxrwx   1 root supergroup         14 2019-01-27 20:36 /xytest/moveFromLocal.txt

23、chgrp [-R] group …

设置所属组标识路径的文件或目录....设置组递归，如果指定-R。

#查看所属组及用户
root:hadoop2.9 home$ bin/hadoop fs -ls /xytest/
drwxrwxrwx   - root root          0 2019-01-27 20:42 /xytest/2019
-rwxrwxrwx   1 root root         13 2019-01-27 14:41 /xytest/hello_world.txt
#设备用户及数
root:hadoop2.9 home$ bin/hadoop fs -chown -R xlc:root  /xytest/

24、chgrp [-R] group …

设置所属组标识路径的文件或目录....设置组递归，如果指定-R。

root:hadoop2.9 home$ bin/hadoop fs -chgrp -R supergroup /xytest/
root:hadoop2.9 home$ bin/hadoop fs -ls /xytest/
drwxrwxrwx   - xlc supergroup          0 2019-01-27 20:42 /xytest/2019
-rwxrwxrwx   1 xlc supergroup         13 2019-01-27 14:41 /xytest/hello_world.txt
-rwxrwxrwx   1 xlc supergroup         14 2019-01-27 20:36 /xytest/moveFromLocal.txt

25、help

返回使用上面列出的命令之一信息。