HDFS常用命令总结

HDFS（Hadoop Distributed File System）是Hadoop生态系统中的一个分布式文件系统，用于存储大规模非结构化数据。HDFS提供了命令行工具hdfs dfs来管理HDFS文件和目录。今天总结一下常用的HDFS命令。

Hadoop快捷部署请参见：《【快捷部署】021_Hadoop（3.3.2）》

文件操作

命令	说明
hdfs dfs -ls <path>	列出指定路径下的文件和目录
hdfs dfs -cat <file>	显示文件内容
hdfs dfs -put <local_file> <hdfs_file>	将本地文件上传到HDFS
hdfs dfs -get <hdfs_file> <local_file>	将HDFS文件下载到本地
hdfs dfs -mv <src> <dst>	移动文件或目录
hdfs dfs -rm <path>	删除文件或目录

目录操作

命令	说明
hdfs dfs -mkdir <path>	创建目录
hdfs dfs -rmdir <path>	删除空目录
hdfs dfs -chmod <permission> <path>	修改文件或目录的权限
hdfs dfs -chown <user:group> <path>	修改文件或目录的所有者

其他常用命令

命令	说明
hdfs dfs -du <path>	显示文件或目录的存储空间使用情况
hdfs dfs -count <path>	统计文件或目录的数量
hdfs dfs -help	显示所有HDFS命令的帮助信息

命令示例

#先进入到目录
cd /cxy/hadoop/hadoop-3.3.2/

#查看hdfs根目录
bin/hdfs dfs -ls /

#创建用户目录
bin/hdfs dfs -mkdir -p /user/root

#本地创建文件
cat >> test.txt <<EOF
123123
abcd
EOF

#上传到HDFS
bin/hdfs dfs -put test.txt test.txt

#显示HDFS上文件内容
bin/hdfs dfs -cat test.txt

#移动HDFS上文件内容
bin/hdfs dfs -mv test.txt test.md

#查看移动结果
bin/hdfs dfs -ls

#从HDFS下载本ecs
bin/hdfs dfs -get test.md test-ecs.md

#删除HDFS的文件
bin/hdfs dfs -rm test.md


bin/hdfs dfs -du /

bin/hdfs dfs -count /