HDFS常用命令总结
1. 目录和文件管理
HDFS的命令和Linux的命令比较相似,所以也比较容易记忆。
1.1 创建目录 -mkdir
新部署的Hadoop的HDFS里是空的,需要创建当前用户权限能访问的目录。
命令 | 说明 |
---|---|
hadoop fs -mkdir /user | 在根目录(/)下面创建user目录 |
hadoop fs -mkdir /user/winter | 在user目录下面创建winter目录 ,"winter"为当前系统用户名 |
hadoop fs -mkdir -p /user/winter | 一次性在根目录(/)下创建/user/winter这2个目录 |
1.2 列出目录和文件 -ls
命令 | 说明 |
---|---|
hadoop fs -ls | 列出当前用户目录 |
hadoop fs -ls / | 列出根目录(/)下目录和文件 |
hadoop fs -ls -R / | 递归的列出根目录(/)下所有目录和文件 |
1.3 复制本地文件到HDFS -copyFromLocal
命令 | 说明 |
---|---|
hadoop fs - copyFromLocal [localsrc] [dst] | 复制本地文件到HDFS |
hadoop fs - copyFromLocal -f [localsrc] [dst] | 强制复制本地文件到HDFS,如果已存在,则直接覆盖 |
比如本机当前目录下有个文件叫test3.txt,现在需要把它拷到HDFS里的winter目录下的books目录下
1.3.1 在winter目录下创建books目录
hadoop fs -mkdir books
1.3.2 查看刚刚创建的目录
hadoop fs -ls
1.3.3 复制test3.txt到books目录下
hadoop fs -copyFromLocal test3.txt books
如图test3.txt已经复制到HDFS里了。
1.3.4 同时复制多个文件到HDFS
hadoop fs -copyFromLocal test4.txt test5.txt books
1.4 复制HDFS文件到本地 -copyToLocal
hadoop fs -copyToLocal books/test3.txt test7.txt
这个时候查看本机可以发现多了个文件test7.txt
1.7 复制HDFS文件 -cp
hadoop fs -cp books/test3.txt books/test6.txt
1.8 删除HDFS文件 -rm
hadoop fs -rm books/test6.txt
2. HDFS Web页面浏览HDFS
2.1 页面地址
http://localhost:50070
然后打开浏览文件系统
2.2 如果没有权限操作文件修改配置文件hdfs-site.xml
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
如果本文对您有帮助,就点个赞👍吧