3、HDFS的shell命令大全

基本语法： hadoop fs option 或者 hfds dfs option，其中option为具体操作命令。

命令大全

1、-help

hadoop fs -help ls

-help帮助命令，用来帮助查询其它命令的用法。用-help命令执行ls，可以显示出ls命令的所有可选参数。

2、-ls 显示目录信息

hadoop fs -ls /

查看根目录下的文件和文件夹。

3、-mkdir 在HDFS上创建目录

hadoop fs -mkdir -p /user/shanghai

在/user目录下创建了shanghai目录，-p表示如果 /user/shanghai目录已经存在了，该命令不会失败，不会创建新的 /user/shanghai覆盖原来的目录，只是命令不报错而已。如果去掉-p，执行命令后，如果 /user/shanghai目录已经存在，该命令会报目录已经存在。

4、-moveFromLocal 从本地剪切到HDFS上

hadoop fs -moveFromLocal shanghai1.txt /user/shanghai/

执行命令后，本地的shanghai1.txt文件将不存在。

5、-appendToFile 追加本地文件到HDFS文件末尾

hadoop fs -appendToFile shanghai2.txt /user/shanghai/shanghai1.txt

把本地shanghai2.txt文件中的内容追加到HDFS上的 /user/shanghai/shanghai1.txt文件中。

6、-cat 显示文件内容

hadoop fs -cat /user/shanghai/shanghai1.txt

显示HDFS系统上/user/shanghai/shanghai1.txt文件的内容

7、-chmod 修改文件权限

hadoop fs -chmod 777 /user/shanghai/shanghai1.txt

把hdfs上/user/shanghai/shanghai1.txt文件的选线改为777。

8、-copyFromLocal 从本地拷贝到HDFS

hadoop fs -copyFromLocal shanghai2.txt /user/shanghai

把本地当前目录下的shanghai2.txt文件复制到HDFS的/user/shanghai目录下。

9、-copyToLocal 从HDFS拷贝到本地

hadoop fs -copyToLocal /user/shanghai/shanghai1.txt

把HDFS中的/user/shanghai/shanghai1.txt复制到本地当前目录下。

10、-cp HDFS内部文件拷贝

hadoop fs -cp /user/shanghai/shanghai2.txt /user/shanghai/songjiang

把HDFS上/user/shanghai/shanghai2.txt文件拷贝到 /user/shanghai/songjiang目录下。

11、-mv HDFS内部移动

hadoop fs -mv /user/shanghai/shanghai1.txt /user/shanghai/songjiang

把HDFS上的 /user/shanghai/shanghai1.txt移到/user/shanghai/songjiang目录下。

12、-get 从HDFS下载文件到本地，同copyToLocal

hadoop fs -get /user/shanghai/songjiang/shanghai1.txt

把HDFS上的/user/shanghai/songjiang/shanghai1.txt文件下载到本地当前目录下。

13、 -getmerge 合并HDFS上的多个文件进行下载

hadoop fs -getmerge /user/shanghai/songjiang/* shanghai.txt

把HDFS上的/user/shanghai/songjiang/目录下的文件合并下载当本地当前目录下shanghai.txt文件中，如果shanghai.txt不存在，会创建一个。

14、-put 等同于copyFromLocal

hadoop fs -put shanghai2.txt /user/lzj/shanghai/

把本地当前环境中的shanghai2.txt文件拷贝到HDFS的/user/lzj/shanghai/下。

15、-tail 显示指定文件的尾部

hadoop fs -tail /user/lzj/shanghai3.txt

显示HDFS上shanghai3.txt文件的尾部，与linux环境下tail应用类似。

16、-rm删除文件或文件夹

hadoop fs -rm /user/lzj/shanghai2.txt

删除HDFS上/user/lzj/shanghai2.txt文件。

17、-rmdir删除空目录

hadoop fs -rmdir /user/lzj/shanghai

删除HDFS上的 /user/lzj/shanghai目录，如果 /user/lzj/shanghai目录非空，会提示目录非空错误。

18、-du 统计文件夹或文件的大小信息

hadoop fs -du /user/lzj

显示HDFS上/user/lzj目录的大小信息。

19、-setrep 设置HDFS文件副本数量

hadoop fs -setrep 5 /user/lzj/shanghai.txt

设置HDFS上/user/lzj/shanghai.txt副本数量为5份。如果集群只有3台设备，那么最多也只有3个副本，只有当集群等于或大于5台时，副本数量才能达到5份。