1.hdfs dfs、hadoop fs、hadoop dfs三个命令的区别
在介绍命令之前,首先要知道hdfs dfs、hadoop fs、hadoop dfs三个命令的区别。
hadoop fs:通用的文件系统命令,针对任何系统,比如本地文件、HDFS文件、HFTP文件、S3文件系统等。
hadoop dfs:特定针对HDFS的文件系统的相关操作,但是已经不推荐使用。
hdfs dfs:与hadoop dfs类似,同样是针对HDFS文件系统的操作,官方推荐使用。
2.hdfs dfs常用命令用法
命令 | 示例 | 解释 |
copyFromLocal | hdfs dfs -copyFromLocal /root/test.txt /user/root/test.txt | 从linux本地文件系统拷贝到HDFS文件系统,/root/test.txt本地文件系统,/user/root/test.txt指HDFS文件系统文件 |
moveFromLocal | hdfs dfs -moveFromLocal /root/test.txt /user/root/test.txt | 同上 |
put | hdfs dfs -put /root/test.txt /user/root/test.txt | 同上 |
copyToLocal | hdfs dfs -copyToLocal /user/root/test.txt /root/test.txt | 从HDFS文件系统拷贝到linux本地文件系统,/root/test.txt指本地文件系统,/user/root/test.txt指HDFS文件系统文件 |
moveToLocal | hdfs dfs -moveToLocal /user/root/test.txt /root/test.txt | 同上 |
get | hdfs dfs -get /user/root/test.txt /root/test.txt | 同上 |
ls | hdfs dfs -ls -R / | 列举HDFS中根目录下面的所有目录,-R选项表示递归 |
mkdir | hdfs dfs -mkdir -p /user/root/abc | 在HDFS创建/user/root/abc,-p表示递归创建目录 |
rm | hdfs dfs -rm /user/root/test.txt | 删除HDFS上的/user/root/test.txt文件 |