HDFS常用命令

1. 查看HDFS状态

• hdfs dfsadmin -report

  • 显示HDFS集群的状态报告，包括容量、活动DataNodes的数量、块大小等信息。

2. 列出文件和目录

• hdfs dfs -ls [path]

  • 列出指定路径下的文件和目录。如果不指定路径，默认为用户的工作目录。

3. 创建目录

• hdfs dfs -mkdir [path]

  • 在HDFS上创建一个新的目录。

4. 删除文件或目录

• hdfs dfs -rm [path]

  • 删除指定的文件。

5. 复制文件或目录

• hdfs dfs -cp [source] [destination]

  • 在HDFS内部复制文件或目录，也可以从本地文件系统复制到HDFS，或者反过来。

6. 移动或重命名文件或目录

• hdfs dfs -mv [source] [destination]

  • 在HDFS内部移动或重命名文件或目录。

7. 上传文件到HDFS

• hdfs dfs -put [localfile] [hdfsdir]

  • 将本地文件上传到HDFS。

8. 下载文件到本地

• hdfs dfs -get [hdfsfile] [localdir]

  • 将HDFS上的文件下载到本地文件系统。

9. 查看文件内容

• hdfs dfs -cat [path]

  • 显示文件的内容。对于大文件，可以使用 -skip 参数跳过部分内容。

10. 查看文件末尾部分内容

• hdfs dfs -tail [path]

  • 显示指定文件的最后 1KB 数据。无需完整读取整个文件，这在检查日志文件的最新记录或快速预览文件结尾部分时非常有用。

11. 获取文件状态

• hdfs dfs -stat [format] [path]

  • 获取文件的详细状态信息，如修改时间、权限、所有者等。

12. 设置文件权限

• hdfs dfs -chmod [mode] [path]

  • 更改文件或目录的权限。

13. 设置文件所有者

• hdfs dfs -chown [owner] [path]

  • 更改文件或目录的所有者。

14. 检查文件完整性

• hdfs fsck [path]

  • 检查文件或目录的块完整性，可以用于发现丢失或损坏的块。

15. 清空回收站

• hdfs dfs -clrTrash

  • 清空HDFS的回收站。