HDFS(Hadoop Distributed File System)是Hadoop生态系统中的一个分布式文件系统,用于存储大规模非结构化数据。HDFS提供了命令行工具hdfs dfs来管理HDFS文件和目录。今天总结一下常用的HDFS命令。
Hadoop快捷部署请参见:《【快捷部署】021_Hadoop(3.3.2)》
文件操作
命令 | 说明 |
---|
hdfs dfs -ls <path> | 列出指定路径下的文件和目录 |
hdfs dfs -cat <file> | 显示文件内容 |
hdfs dfs -put <local_file> <hdfs_file> | 将本地文件上传到HDFS |
hdfs dfs -get <hdfs_file> <local_file> | 将HDFS文件下载到本地 |
hdfs dfs -mv <src> <dst> | 移动文件或目录 |
hdfs dfs -rm <path> | 删除文件或目录 |
目录操作
命令 | 说明 |
---|
hdfs dfs -mkdir <path> | 创建目录 |
hdfs dfs -rmdir <path> | 删除空目录 |
hdfs dfs -chmod <permission> <path> | 修改文件或目录的权限 |
hdfs dfs -chown <user:group> <path> | 修改文件或目录的所有者 |
其他常用命令
命令 | 说明 |
---|
hdfs dfs -du <path> | 显示文件或目录的存储空间使用情况 |
hdfs dfs -count <path> | 统计文件或目录的数量 |
hdfs dfs -help | 显示所有HDFS命令的帮助信息 |
命令示例
cd /cxy/hadoop/hadoop-3.3.2/
bin/hdfs dfs -ls /
bin/hdfs dfs -mkdir -p /user/root
cat >> test.txt <<EOF
123123
abcd
EOF
bin/hdfs dfs -put test.txt test.txt
bin/hdfs dfs -cat test.txt
bin/hdfs dfs -mv test.txt test.md
bin/hdfs dfs -ls
bin/hdfs dfs -get test.md test-ecs.md
bin/hdfs dfs -rm test.md
bin/hdfs dfs -du /
bin/hdfs dfs -count /