文章目录
- 命令大全
- 1、-help
- 2、-ls 显示目录信息
- 3、-mkdir 在HDFS上创建目录
- 4、-moveFromLocal 从本地剪切到HDFS上
- 5、-appendToFile 追加本地文件到HDFS文件末尾
- 6、-cat 显示文件内容
- 7、-chmod 修改文件权限
- 8、-copyFromLocal 从本地拷贝到HDFS
- 9、-copyToLocal 从HDFS拷贝到本地
- 10、-cp HDFS内部文件拷贝
- 11、-mv HDFS内部移动
- 12、-get 从HDFS下载文件到本地,同copyToLocal
- 13、 -getmerge 合并HDFS上的多个文件进行下载
- 14、-put 等同于copyFromLocal
- 15、-tail 显示指定文件的尾部
- 16、-rm删除文件或文件夹
- 17、-rmdir删除空目录
- 18、-du 统计文件夹或文件的大小信息
- 19、-setrep 设置HDFS文件副本数量
基本语法:
hadoop fs option
或者
hfds dfs option
,其中option为具体操作命令。
命令大全
1、-help
hadoop fs -help ls
-help帮助命令,用来帮助查询其它命令的用法。用-help命令执行ls,可以显示出ls命令的所有可选参数。
2、-ls 显示目录信息
hadoop fs -ls /
查看根目录下的文件和文件夹。
3、-mkdir 在HDFS上创建目录
hadoop fs -mkdir -p /user/shanghai
在/user目录下创建了shanghai目录,-p表示如果 /user/shanghai目录已经存在了,该命令不会失败,不会创建新的 /user/shanghai覆盖原来的目录,只是命令不报错而已。如果去掉-p,执行命令后,如果 /user/shanghai目录已经存在,该命令会报目录已经存在。
4、-moveFromLocal 从本地剪切到HDFS上
hadoop fs -moveFromLocal shanghai1.txt /user/shanghai/
执行命令后,本地的shanghai1.txt文件将不存在。
5、-appendToFile 追加本地文件到HDFS文件末尾
hadoop fs -appendToFile shanghai2.txt /user/shanghai/shanghai1.txt
把本地shanghai2.txt文件中的内容追加到HDFS上的 /user/shanghai/shanghai1.txt文件中。
6、-cat 显示文件内容
hadoop fs -cat /user/shanghai/shanghai1.txt
显示HDFS系统上/user/shanghai/shanghai1.txt文件的内容
7、-chmod 修改文件权限
hadoop fs -chmod 777 /user/shanghai/shanghai1.txt
把hdfs上/user/shanghai/shanghai1.txt文件的选线改为777。
8、-copyFromLocal 从本地拷贝到HDFS
hadoop fs -copyFromLocal shanghai2.txt /user/shanghai
把本地当前目录下的shanghai2.txt文件复制到HDFS的/user/shanghai目录下。
9、-copyToLocal 从HDFS拷贝到本地
hadoop fs -copyToLocal /user/shanghai/shanghai1.txt
把HDFS中的/user/shanghai/shanghai1.txt复制到本地当前目录下。
10、-cp HDFS内部文件拷贝
hadoop fs -cp /user/shanghai/shanghai2.txt /user/shanghai/songjiang
把HDFS上/user/shanghai/shanghai2.txt文件拷贝到 /user/shanghai/songjiang目录下。
11、-mv HDFS内部移动
hadoop fs -mv /user/shanghai/shanghai1.txt /user/shanghai/songjiang
把HDFS上的 /user/shanghai/shanghai1.txt移到/user/shanghai/songjiang目录下。
12、-get 从HDFS下载文件到本地,同copyToLocal
hadoop fs -get /user/shanghai/songjiang/shanghai1.txt
把HDFS上的/user/shanghai/songjiang/shanghai1.txt文件下载到本地当前目录下。
13、 -getmerge 合并HDFS上的多个文件进行下载
hadoop fs -getmerge /user/shanghai/songjiang/* shanghai.txt
把HDFS上的/user/shanghai/songjiang/目录下的文件合并下载当本地当前目录下shanghai.txt文件中,如果shanghai.txt不存在,会创建一个。
14、-put 等同于copyFromLocal
hadoop fs -put shanghai2.txt /user/lzj/shanghai/
把本地当前环境中的shanghai2.txt文件拷贝到HDFS的/user/lzj/shanghai/下。
15、-tail 显示指定文件的尾部
hadoop fs -tail /user/lzj/shanghai3.txt
显示HDFS上shanghai3.txt文件的尾部,与linux环境下tail应用类似。
16、-rm删除文件或文件夹
hadoop fs -rm /user/lzj/shanghai2.txt
删除HDFS上/user/lzj/shanghai2.txt文件。
17、-rmdir删除空目录
hadoop fs -rmdir /user/lzj/shanghai
删除HDFS上的 /user/lzj/shanghai目录,如果 /user/lzj/shanghai目录非空,会提示目录非空错误。
18、-du 统计文件夹或文件的大小信息
hadoop fs -du /user/lzj
显示HDFS上/user/lzj目录的大小信息。
19、-setrep 设置HDFS文件副本数量
hadoop fs -setrep 5 /user/lzj/shanghai.txt
设置HDFS上/user/lzj/shanghai.txt副本数量为5份。如果集群只有3台设备,那么最多也只有3个副本,只有当集群等于或大于5台时,副本数量才能达到5份。