本文列举了HadoopHDFS文件系统的一些基本操作命令，包括查看目录(-ls),创建目录(-mkdir),上传文件(-copyFromLocal,-put),下载文件(-copyToLocal,-get),文件移动(-mv),设置副本数量(-setrep),以及删除文件(-rm)等。这些命令对于管理和操作HDFS至关重要。
【Hadoop-HDFS】HDFS常用操作命令
- 1）显示目录信息（-ls）
- 1）在 HDFS 上创建目录（-mkdir）
- 2）从本地剪切文件粘贴到 HDFS 上（-moveFromLocal）
- 3）把本地文件复制到 HDFS 上（-copyFromLocal 或者 -put）
- 4）从 HDFS 复制文件到本地上（-copyToLocal 或者 -get）
- 5）在 HDFS 里拷贝文件路径到另一个路径上（-cp）
- 6）追加文件到 HDFS 里的文件末尾（-appendToFile）
- 7）显示文件内容（-cat）
- 8）修改文件所属权限（-chmod）
- 9）移动文件（-mv）
- 10）从 HDFS 里合并下载多个文件到本地（-getmerge）
- 11）删除文件或文件夹（-rm）
- 12）设置 HDFS 中文件的副本数量（-setrep）
- 13）查看 HDFS 目录数据量（-du）
- 14）创建一个零长度的文件（-touchz）
- 15）显示文件所占块数（-stat）
- 16）显示文件的最后1kb内容到标准输出（-tail）
- 17）统计与指定文件模式匹配的路径下的目录文件和字节数（-count）
- 18）从 HDFS 上过滤包含某个字符的行内容（-grep）
1）显示目录信息（-ls）
hadoop fs -ls /
1）在 HDFS 上创建目录（-mkdir）
普通创建：hadoop fs -mkdir /xiaolin
递归创建：hadoop fs -mkdir -p /xiaolin/xiaoyin
2）从本地剪切文件粘贴到 HDFS 上（-moveFromLocal）
mkdir xuan.txt
hadoop fs -moveFromLocal xuan.txt /xiaolin
3）把本地文件复制到 HDFS 上（-copyFromLocal 或者 -put）
hadoop fs -copyFromLocal xuan.txt /
hadoop fs -put xuan.txt /
- 文件名称相同时覆盖hdfs上的文件：
-f
hadoop fs -put -f xuan.txt /
4）从 HDFS 复制文件到本地上（-copyToLocal 或者 -get）
hadoop fs -copyToLocal /xiaolin ./
hadoop fs -get /xiaolin ./
5）在 HDFS 里拷贝文件路径到另一个路径上（-cp）
hadoop fs -mkdir /xiaona
hadoop fs -cp /xiaolin/xuan.txt /xiaona/
6）追加文件到 HDFS 里的文件末尾（-appendToFile）
vim zero.txt
hadoop fs -appendToFile zero.txt /xiaolin/xuan.txt
7）显示文件内容（-cat）
hadoop fs -cat /xiaolin/xuan.txt
8）修改文件所属权限（-chmod）
hadoop fs -chmod 777 /xiaolin/xuan.txt
9）移动文件（-mv）
hadoop fs -mv /xiaolin/xuan.txt /xiaolin/xiaoyin
10）从 HDFS 里合并下载多个文件到本地（-getmerge）
hadoop fs -getmerge /xiaolin/* ./
11）删除文件或文件夹（-rm）
hadoop fs -rm /xiaolin/xiaoyin
12）设置 HDFS 中文件的副本数量（-setrep）
hadoop fs -setrep 5 /xiaolin/xuan.txt
13）查看 HDFS 目录数据量（-du）
Usage：hdfs dfs -du [-s] [-h] URI [URI …]
-s选项将显示文件长度的汇总摘要，而不是单个文件。
-h选项将以“人类可读”的方式格式化文件大小（例如64.0m而不是67108864）
14）创建一个零长度的文件（-touchz）
hdfs dfs -touchz URI [URI …]
15）显示文件所占块数（-stat）
Usage：hdfs dfs -stat URI [URI …]
(%b)，文件名(%n)，块大小(%n)，复制数(%r)，修改时间(%y%Y)
16）显示文件的最后1kb内容到标准输出（-tail）
Usage：hdfs dfs -tail [-f] URI
17）统计与指定文件模式匹配的路径下的目录文件和字节数（-count）
Usage: hdfs dfs -count [-q] [-h] < paths>
18）从 HDFS 上过滤包含某个字符的行内容（-grep）
Usage：hdfs dfs -cat < srcpath> | grep 过滤字段
497
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
