hadoop HDFS 常用命令

HDFS（Hadoop Distributed File System）提供了一系列命令行工具，用于管理和操作分布式文件系统。以下是一些常用的HDFS命令及其功能：

1. 查看文件和目录信息：

   • hdfs dfs -ls /path: 列出指定路径下的文件或目录。
   • hdfs dfs -ls -R /path: 递归地列出指定路径下所有子目录中的文件和目录。

2. 创建目录：

   • hdfs dfs -mkdir /path/to/directory: 创建一个新的目录。

3. 上传文件到HDFS：

   • hdfs dfs -put localfile /path/to/hdfs: 将本地文件上传至HDFS的指定路径。
   • hdfs dfs -copyFromLocal localfile /path/to/hdfs: 同样将本地文件复制到HDFS，这是-put命令的一个别名。

4. 从HDFS下载文件到本地：

   • hdfs dfs -get /path/to/hdfs localfile: 从HDFS下载指定文件到本地。
   • hdfs dfs -copyToLocal /path/to/hdfs localfile: 同样从HDFS复制文件到本地，是-get命令的一个别名。

5. 移动和重命名文件/目录：

   • hdfs dfs -mv /source/path /destination/path: 在HDFS内部移动或重命名文件或目录。

6. 删除文件/目录：

   • hdfs dfs -rm /path/to/file: 删除单个文件。
   • hdfs dfs -rm -r /path/to/directory: 删除一个目录及其包含的所有文件和子目录。
   • hdfs dfs -rm -skipTrash /path/to/file: 直接删除而不先放入回收站（Trash）。

7. 查看文件内容：

   • hdfs dfs -cat /path/to/file: 显示文件内容。

8. 检查文件或目录空间占用情况：

   • hdfs dfs -du /path: 查看指定路径的空间使用情况。
   • hdfs dfs -du -s /path: 查看指定路径的总大小。

9. 更改文件权限、用户组等元数据信息：

   • hdfs dfs -chmod octal-mode /path/to/file: 更改文件权限。
   • hdfs dfs -chown username:groupname /path/to/file: 更改文件的所有者和所属组。

请注意，在实际使用中，请确保命令格式正确，并且与所使用的Hadoop版本兼容。在某些较新版本的Hadoop中，可以直接使用hdfs替代hadoop fs命令前缀来执行相同的操作。