HDFS dfs常用命令

HDFS dfs常用命令的使用场景及方法主要包括以下几个方面：

列出文件目录

  - 使用场景：当需要查看HDFS中指定目录下的文件列表时。

  - 方法：使用`-ls`命令，并指定路径。例如：hdfs dfs -ls 路径

hdfs dfs -ls /

递归列出文件目录

- 使用场景：当需要查看HDFS中指定目录下的文件列表时。

- 方法：使用`-ls -R`命令，并指定路径。例如：hdfs dfs -ls -R 路径

hdfs dfs -ls -R /

创建HDFS目录

  - 使用场景：在HDFS中创建新的目录结构。

  - 方法：使用`-mkdir`命令，并指定路径。可以配合`-p`选项自动创建多级目录。例如：hdfs dfs -mkdir -p 路径

hdfs dfs -mkdir -p /tmp/zxl

上传服务器文件到HDFS

  - 使用场景：将本地服务器上的文件上传到HDFS中。

  - 方法：使用`-put`命令，指定本地文件路径和HDFS目标路径。例如：hdfs dfs -put 服务器路径 HDFS目录

hdfs dfs -put test.csv /tmp/zxl

下载HDFS文件到服务器

  - 使用场景：从HDFS中将文件或目录下载到本地服务器上。

  - 方法：使用`-get`命令，指定HDFS文件路径和本地目标路径。例如：hdfs dfs -get HDFS目录 服务器文件路径

hdfs dfs -get /tmp/zxl/test.csv ./

查看HDFS文件内容

  - 使用场景：查看HDFS中指定文件的内容。

  - 方法：使用`-cat`命令，并指定文件路径。例如：hdfs dfs -cat HDFS文件路径

hdfs dfs -cat /tmp/zxl/test.csv

查看HDFS文件前几行内容

• 使用场景：查看HDFS中指定文件前几行的内容。

• 方法：使用-cat head命令，并指定文件路径。例如：hdfs dfs -cat HDFS文件路径 | head -行数

hdfs dfs -cat /tmp/zxl/test.csv | head -10

查看HDFS文件后几行内容

• 使用场景：查看HDFS中指定文件后几行的内容。

• 方法：使用-cat tail命令，并指定文件路径。例如：hdfs dfs -cat HDFS文件路径 | tail -行数

hdfs dfs -cat /tmp/zxl/test.csv | tail-10

查看HDFS文件行数

• 使用场景：查看HDFS中指定文件的行数。

• 方法：使用-cat wc -l命令，并指定文件路径。例如：hdfs dfs -cat HDFS文件路径 | wc -l

hdfs dfs -cat /tmp/zxl/test.csv | wc -l

查看HDFS文件指定行数之后的内容

• 使用场景：查看HDFS中指定文件行数之后的内容。

• 方法：使用-cat tail -n命令，并指定文件路径。例如：hdfs dfs -cat HDFS文件路径 | tail -n +行数

hdfs dfs -cat /tmp/zxl/test.csv | tail -n +5

查看HDFS文件过滤内容

• 使用场景：查看HDFS中指定文件过滤内容。

• 方法：使用-cat grep命令，并指定文件路径。例如：hdfs dfs -cat HDFS文件路径 | grep 过滤内容

hdfs dfs -cat /tmp/zxl/test.csv | grep 100

查看HDFS文件大小

• 使用场景：查看HDFS中指定文件大小。

• 方法：使用-du命令，并指定文件路径。例如：hdfs dfs -du HDFS文件路径

hdfs dfs -du /tmp/zxl/test.csv

合并下载HDFS目录里的文件到服务器

  - 使用场景：当HDFS目录中有多个文件，需要合并后下载到本地服务器时。

  - 方法：使用`-getmerge`命令，指定HDFS目录和本地目标文件路径。例如：hdfs dfs -getmerge HDFS目录 服务器文件路径

hdfs dfs -getmerge /tmp/zxl/ ./t.csv

删除HDFS中的文件或目录

  - 使用场景：删除HDFS中不再需要的文件或目录。

  - 方法：使用`-rm`命令删除文件，或`-rmdir`命令删除目录。注意`-rmdir`只能删除空目录，如果需要删除非空目录，可以使用`-rm -r`命令。

hdfs dfs -rm -r /tmp/zxl

复制和移动HDFS中的文件或目录

  - 使用场景：在HDFS内部复制或移动文件或目录。

  - 方法：使用`-cp`命令复制文件或目录，使用`-mv`命令移动文件或目录。

hdfs dfs -cp /tmp/zxl/test.csv /tmp/zxl/test2.csv

hdfs dfs -mv /tmp/zxl/test.csv /tmp/zxl/test2

查看HDFS使用情况

    - 使用场景：了解HDFS的磁盘使用情况。

    - 方法：使用`-df`命令查看HDFS的磁盘使用情况。

hdfs dfs -df

以上只是HDFS dfs常用命令的一部分，实际上HDFS提供了丰富的命令和功能来满足不同的存储需求和管理需求。如果需要了解更多详细信息，可以查阅相关的HDFS官方文档或参考其他相关教程。