hadoop-3.2.0------>入门十八hadoop之HDFS的shell命令操作

基本语法

bin/hadoop fs

bin/hdfs dfs

上面两个命令均可以使用，dfs是fs的实现类

命令大全

1、启动hadoop

sbin/start-dfs.sh
sbin/start-yarn.sh

2、输出这个命令参数

hadoop fs -help rm

3、显示目录信息

#查看根目录
hadoop fs -ls /
#递归查看所有文件目录
hadoop fs -lsr /

4、在hdfs上创建文件夹

hadoop fs -mkdir -p /user/root

5、从本地剪切文件并粘贴到HDFS上

#创建test.txt文件
touch test.txt
#剪切本地文件并粘贴到hdfs上
hadoop fs -moveFromLocal ./test.txt /user/root

6、追加一个文件到已经存在的文件末尾

#创建测试文本2
touch test2.txt
#编辑文本
vi test2.txt
#文本中输入内容
zhangsan   lisi   wangwu
#退出编辑模式
点击键盘左上角ESC
#保存并退出
:wq!
#上传文件并追加到test文本中
hadoop fs -appendToFile test2.txt /user/root/test.txt

7、显示文件内容

hadoop fs -cat /user/root/test.txt

8、修改文件所属权限

hadoop fs -chmod 666 /user/root/test.txt
hadoop fs -chown root:root /user/root/test.txt

9、从本地文件系统中拷贝文件到HDFS路径中

hadoop fs -copyFromLocal README.txt /

10、将HDFS上文件拷贝到本地

hadoop fs -copyToLocal /user/root/test.txt ./

11、将HDFS上的文件从一个路径拷贝到另一个路径

hadoop fs -cp /user/root/test.txt /

12、在HDFS目录中移动文件

hadoop fs -mv /user/root/test.txt /user

13、等同于copyToLocal，从HDFS下载文件到本地

hadoop fs -get /user/root/test.txt ./

14、合并下载多个文件，比如HDFS目录/user/root下有多个文件：test.txt,test2.txt,test3.txt....

hadoop fs -getmerge /user/root/* ./test.txt

15、等同于copyFromLocal

hadoop fs -put ./test.txt /user/root/

16、显示一个文件末尾

hadoop fs -tail /user/root/test.txt

17、删除文件或文件夹

hadoop fs -rm /user/root/test.txt

18、删除空目录

hadoop fs -rmdir /user/root/input

19、统计文件夹的大小信息

hadoop fs -du -s -h /user/root

20、设置HDFS中文件副本数量

hadoop fs -setrep 10 /user/root/test.txt