HDFS常用命令

常用命令说明：

1. -put 和 -get：

   • 上传和下载文件，是 HDFS 和本地文件系统交互的关键命令。

2. -rm 和 -mkdir：

   • 删除和创建文件/目录，-rm 支持递归删除。

3. -ls 和 -cat：

   • 文件查看操作中最常用的命令，分别用于列出文件和查看内容。

4. 权限管理：

   • 通过 -chmod、-chown 和 -chgrp 命令对 HDFS 文件的权限、所有者和所属组进行管理。

5. 检查文件状态：

   • 通过 -stat 和 -checksum 命令，可以查看文件的元数据和校验和信息。

6. 磁盘使用情况：

   • -du 是用来分析磁盘使用情况的重要命令，特别是在分布式系统中。

以下是整理后的 HDFS（Hadoop Distributed File System） 常用命令表格，涵盖文件操作、目录操作、权限管理等：

操作类别	命令	说明	示例
显示文件/目录	hdfs dfs -ls /path	列出指定目录下的文件和子目录	hdfs dfs -ls /user/hadoop
	hdfs dfs -ls -R /path	递归列出目录下的所有文件和子目录	hdfs dfs -ls -R /user/hadoop
上传文件	hdfs dfs -put local_path hdfs_path	从本地文件系统上传文件到 HDFS	hdfs dfs -put file.txt /user/hadoop
下载文件	hdfs dfs -get hdfs_path local_path	从 HDFS 下载文件到本地系统	hdfs dfs -get /user/hadoop/file.txt ./
删除文件/目录	hdfs dfs -rm /path/file	删除 HDFS 中指定文件	hdfs dfs -rm /user/hadoop/file.txt
	hdfs dfs -rm -r /path	删除 HDFS 中的目录及其所有内容	hdfs dfs -rm -r /user/hadoop
查看文件内容	hdfs dfs -cat /path/file	查看文件内容	hdfs dfs -cat /user/hadoop/file.txt
	hdfs dfs -tail /path/file	查看文件的最后部分内容	hdfs dfs -tail /user/hadoop/file.txt
	hdfs dfs -text /path/file	查看文件的内容（如果是文本文件）	hdfs dfs -text /user/hadoop/file.txt
复制文件/目录	hdfs dfs -cp /source_path /dest_path	复制 HDFS 文件或目录	hdfs dfs -cp /user/source/file.txt /user/dest/
移动文件/目录	hdfs dfs -mv /source_path /dest_path	移动或重命名 HDFS 文件或目录	hdfs dfs -mv /user/source/file.txt /user/dest/
检查文件状态	hdfs dfs -stat /path/file	查看文件的状态信息（如文件大小、修改时间等）	hdfs dfs -stat /user/hadoop/file.txt
创建目录	hdfs dfs -mkdir /path	在 HDFS 中创建新目录	hdfs dfs -mkdir /user/hadoop/new_dir
	hdfs dfs -mkdir -p /path/subpath	递归创建目录	hdfs dfs -mkdir -p /user/hadoop/dir/subdir
检查文件副本	hdfs dfs -setrep -w replication /path	设置文件或目录的副本因子（replication）并等待完成	hdfs dfs -setrep -w 3 /user/hadoop/file.txt
查看磁盘使用情况	hdfs dfs -du -s /path	查看目录的磁盘使用情况（总计）	hdfs dfs -du -s /user/hadoop
	hdfs dfs -du -h /path	以人类可读的形式显示目录的磁盘使用情况	hdfs dfs -du -h /user/hadoop
文件权限管理	hdfs dfs -chmod mode /path	修改文件或目录权限，mode 是八进制权限码	hdfs dfs -chmod 755 /user/hadoop/file.txt
	hdfs dfs -chown user:group /path	更改文件或目录的所有者和所属组	hdfs dfs -chown hadoop:group1 /user/hadoop/file.txt
	hdfs dfs -chgrp group /path	更改文件或目录的所属组	hdfs dfs -chgrp group1 /user/hadoop/file.txt
查看文件检查点	hdfs dfs -checksum /path/file	查看文件的 HDFS 校验和	hdfs dfs -checksum /user/hadoop/file.txt
测试路径	hdfs dfs -test -e /path	测试路径是否存在，返回退出码，存在返回 0，否则返回非 0	hdfs dfs -test -e /user/hadoop/file.txt
	hdfs dfs -test -d /path	测试路径是否为目录	hdfs dfs -test -d /user/hadoop/dir
	hdfs dfs -test -f /path	测试路径是否为文件	hdfs dfs -test -f /user/hadoop/file.txt