HDFS的shell操作

ls查看hdfs的list

[root@master sbin]# hadoop fs -ls hdfs://master:9000

ls: `hdfs://master:9000': No such file or directory

[root@master sbin]# hadoop fs -ls hdfs://master:9000/
Found 4 items
-rw-r--r--   1 root supergroup  294307840 2016-11-27 00:11 hdfs://master:9000/jdk
drwx------   - root supergroup          0 2016-11-27 00:47 hdfs://master:9000/tmp
drwxr-xr-x   - root supergroup          0 2016-11-27 00:53 hdfs://master:9000/wcout

-rw-r--r--   1 root supergroup         56 2016-11-27 00:32 hdfs://master:9000/words

[root@master sbin]# hadoop fs -ls /
Found 4 items
-rw-r--r--   1 root supergroup  294307840 2016-11-27 00:11 /jdk
drwx------   - root supergroup          0 2016-11-27 00:47 /tmp
drwxr-xr-x   - root supergroup          0 2016-11-27 00:53 /wcout
-rw-r--r--   1 root supergroup         56 2016-11-27 00:32 /words

这里ｄｒｗｘ中的ｄ代表是目录。。。ｗｃｏｕｔ是一个文件夹，下面还有文件

[root@master sbin]# hadoop fs -copyFromLocal /root/a /cfl

类似put上传命令。。。从本地上传a文件到hdfs根目录下，并且重命名为cfl

[root@master sbin]# hadoop fs -get /cfl /root/test1

get命令就是从hdfs下载。。从根目录下载cfl到本地根目录下root并且重命名为test1

[root@master ~]# cd /
[root@master /]# ls
bin   dev  home  lib64   media  opt   root  sbin  sys  usr
boot  etc  lib   master  mnt    proc  run   srv   tmp  var
[root@master /]# cd root
[root@master ~]# ls
a                Documents            jdk-7u60-linux-x64.tar  Public     Videos
anaconda-ks.cfg  Downloads            Music                   Templates
Desktop          hadoop-2.5.2.tar.gz  Pictures                test1

[root@master ~]# hadoop fs -ls -R
ls: `.': No such file or directory

命令虽然对，但是没有指明要查看什么目录下的。。。

[root@master ~]# hadoop fs -ls -R/
-ls: Illegal option -R/
Usage: hadoop fs [generic options] -ls [-d] [-h] [-R] [<path> ...]

R和/之间要刚跟一个空格。。。毕竟/是一个目录啊。。。

[root@master ~]# hadoop fs -ls -R /
-rw-r--r--   1 root supergroup          3 2016-11-27 17:53 /cfl
-rw-r--r--   1 root supergroup  294307840 2016-11-27 00:11 /jdk
drwxr-xr-x   - root supergroup          0 2016-11-27 00:53 /wcout
-rw-r--r--   1 root supergroup          0 2016-11-27 00:53 /wcout/_SUCCESS
-rw-r--r--   1 root supergroup         38 2016-11-27 00:53 /wcout/part-r-00000
-rw-r--r--   1 root supergroup         56 2016-11-27 00:32 /words

[root@master ~]# hadoop fs -ls -R /。。。。。递归查看／下面的文件

[root@master ~]# hadoop fs -ls -R -h /
-rw-r--r--   1 root supergroup          3 2016-11-27 17:53 /cfl
-rw-r--r--   1 root supergroup    280.7 M 2016-11-27 00:11 /jdk
drwxr-xr-x   - root supergroup          0 2016-11-27 00:53 /wcout
-rw-r--r--   1 root supergroup          0 2016-11-27 00:53 /wcout/_SUCCESS
-rw-r--r--   1 root supergroup         38 2016-11-27 00:53 /wcout/part-r-00000
-rw-r--r--   1 root supergroup         56 2016-11-27 00:32 /words

这个－ｈ命令把文件大小变成人类可读了

[root@master ~]# hadoop fs -mkdir /master

在ｈｄｆｓ上个创建一个新的文件夹ｍａｓｔｅｒ

[root@master ~]# hadoop fs -rm /jdk
16/11/27 18:18:36 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 0 minutes, Emptier interval = 0 minutes.
Deleted /jdk

删除文件ｊｄｋ

[root@master ~]# hadoop fs -ls /
Found 4 items
-rw-r--r--   1 root supergroup          3 2016-11-27 17:53 /cfl
drwxr-xr-x   - root supergroup          0 2016-11-27 18:16 /master
drwxr-xr-x   - root supergroup          0 2016-11-27 00:53 /wcout
-rw-r--r--   1 root supergroup         56 2016-11-27 00:32 /words

现在我们要删掉一个目录。。。

[root@master ~]# hadoop fs -rm /master
rm: `/master': Is a directory

告诉我们ｍａｓｔｅｒ不能删除掉，因为他是一个目录

[root@master ~]# hadoop fs -rmr /master
rmr: DEPRECATED: Please use 'rm -r' instead.
16/11/27 18:23:26 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 0 minutes, Emptier interval = 0 minutes.
Deleted /master

修改文件执行权限

[root@master ~]# hadoop fs -ls /
Found 3 items
-rw-r--r--   1 root supergroup          3 2016-11-27 17:53 /cfl
drwxr-xr-x   - root supergroup          0 2016-11-27 00:53 /wcout
-rw-r--r--   1 root supergroup         56 2016-11-27 00:32 /words

[root@master ~]# hadoop fs -chmod a+x /cfl
[root@master ~]# hadoop fs -ls /
Found 3 items
-rwxr-xr-x   1 root supergroup          3 2016-11-27 17:53 /cfl
drwxr-xr-x   - root supergroup          0 2016-11-27 00:53 /wcout
-rw-r--r--   1 root supergroup         56 2016-11-27 00:32 /words

以上命令可以用如下替换

[root@master ~]# hdfs dfs -ls /
Found 3 items
-rwxr-xr-x   1 root supergroup          3 2016-11-27 17:53 /cfl
drwxr-xr-x   - root supergroup          0 2016-11-27 00:53 /wcout
-rw-r--r--   1 root supergroup         56 2016-11-27 00:32 /words