【HADOOP】HDFS常用命令

HDFS命令的套路都是hadoop fs -类似linux下的Shell命令

HDFS的简单命令

1 从Linux上传到HDFS：

    hadoop fs -put <Linux Path>  <HDFS Path>

    hadoop fs -copyFromLocal <Linux Path>  <HDFS Path>      //与put相同

    hadoop fs -moveFromLocal <Linux Path>  <HDFS Path>    //与put相同，但是文件上传之后会从本地文件系统中移除

2 从HDFS下载到Linux：

    hadoop fs -get <HDFS Path>  <Linux Path>

    hadoop fs -copyToLocal <HDFS Path>  <Linux Path>     //与get相同

3 列出当前目录下的所有文件：hadoop fs -ls [-R] <目录>

4 创建文件夹：hadoop fs -mkdir [-p] <目录>

5 删除文件/文件夹：hadoop fs -rm [-r] [-f] <目录>

6 查看文件内容：

    hadoop  fs  -cat  <HDFS文件>

    hadoop  fs  -cat  <HDFS文件>|more

    cat会一次性显示整个文件的内容，适用于文件内容少的情况；more一般用于显示文件内容超过一屏的内容，并且提供翻页的功能。more比cat强大，提供分页显示的功能，more支持用空格显示下一页，回车显示下一行，按键b显示上一页。

7 显示目录中所有文件的大小(以字节为单位)或该文件的大小(如果path为文件)：hadoop fs -du <path> 

8 创建一个空文件：hadoop fs -touchz <path>

9 将目录的大小、包含文件(包括文件)个数的信息输出到屏幕(标准stdout)：hadoop fs -count [-q] <path>]

10 把文件或目录移动到目标路径：hadoop fs -mv <src源> <dst目的> 

     这个命令允许同时移动多个文件，但是只允许移动到一个目标路径中，参数中的最有一个文件夹即为目标路径

11 复制文件或目录到目标路径：hadoop fs -cp <src源> <dst目的>   

     这个命令允许同时复制多个文件，如果复制多个文件，目标路径必须是文件夹

12 追踪文件：hadoop fs -tail [-f] <file> 

     在终端上显示文件的最后1kb内容。

     -f选项的行为与LInux中一致，会持续监测先添加到文件中的内容，这在查看日志文件时会显得非常方便。

13 追加文件内容：hadoop fs -appendToFile <Linux File> <HDFS File>

     因为数据量的问题，HDFS并不适合对文件进行修改，最多对文件进行追加。

14 改变文件的权限：hadoop fs -chmod [-R] <权限数字> <file>

     -R可以递归地改变文件夹内的所有文件的权限

     只有文件的所有者或者是超级用户才能使用这个命令。

14 改变文件的拥有者：hadoop fs -chown [-R] <owner>:<group> <file>  

     -R可以递归地改变文件夹内所有文件的拥有者。

     同样，这个命令只有超级用户才能使用

15 改变文件所属的组：hadoop fs -chgrp [-R] GROUP PATH...

     -R可以递归地改变文件夹内所有文件所属的组。

     这个命令必须是超级用户才能使用

16 查看磁盘空间剩余：hadoop fs -df -h