HDFS的shell命令

HDFS的shell命令

基本语法

hadoop fs 具体命令 OR hdfs dfs 具体命令
两个是完全相同的

命令大全

[atguigu@hadoop102 hadoop-3.1.3]$ bin/hadoop fs
[-appendToFile <localsrc> ... <dst>]
 [-cat [-ignoreCrc] <src> ...]
 [-chgrp [-R] GROUP PATH...]
 [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
 [-chown [-R] [OWNER][:[GROUP]] PATH...]
 [-copyFromLocal [-f] [-p] <localsrc> ... <dst>]
 [-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
 [-count [-q] <path> ...]
 [-cp [-f] [-p] <src> ... <dst>]
 [-df [-h] [<path> ...]]
 [-du [-s] [-h] <path> ...]
 [-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
 [-getmerge [-nl] <src> <localdst>]
 [-help [cmd ...]]
 [-ls [-d] [-h] [-R] [<path> ...]]
 [-mkdir [-p] <path> ...]
 [-moveFromLocal <localsrc> ... <dst>]
 [-moveToLocal <src> <localdst>]
 [-mv <src> ... <dst>]
 [-put [-f] [-p] <localsrc> ... <dst>]
 [-rm [-f] [-r|-R] [-skipTrash] <src> ...]
 [-rmdir [--ignore-fail-on-non-empty] <dir> ...]
<acl_spec> <path>]]
 [-setrep [-R] [-w] <rep> <path> ...]
 [-stat [format] <path> ...]
 [-tail [-f] <file>]
 [-test -[defsz] <path>]
 [-text [-ignoreCrc] <src> ...]

实际操作

z准备工作

查看命令如何使用help

 hadoop fs -help rm

创建三国文件夹

hadoop fs -mkidr /sangguo

后续的操作都在sangguo这个文件夹里忙进行操作

上传

首先在本地创建一个shuoguo文件，然后上传

—moveFromLocal

hadoop fs -moveFromLocal ./shuguo.txt /sangguo

注意：这个操作是剪切，会直接删除本地的文件

-copyFromLocal

从本地文件系统中拷贝文件到 HDFS 路径去，用法同moveFromLocal

—put

使用和copyFromLoca一样，这个比较常用

-appendToFile

追加一个文件到已经存在的文件末尾
首先创建一个刘备文件,然后追加到shuguo的文件末尾

vim liubei.txt
hadoop fs -appendToFile ./liubei.txt /sanguo/shuguo.txt

注意有些浏览器显示的内容是object，可以使用cat命令查看

hadoop fs -cat /sanguo/shuguo.txt

下载

-copyToLocal

从 HDFS 拷贝到本地

hadoop fs -copyToLocal /sangguo/wuguo.txt ./

-get

用法和copyToLocal相同一般使用get比较多

HDFS 直接操作

ls 显示目录信息

cat 显示文件信息

-chgrp、-chmod、-chown

修改目录的权限

mkdir 创建文件夹

cp 拷贝文件

mv 移动文件

tail显示文件末尾1kb的数据

rm删除文件或文件夹

rm -r 递归删除

统计文件夹信息

setrep：设置 HDFS 中文件的副本数量

这里设置的副本数只是记录在 NameNode 的元数据中，是否真的会有这么多副本，还得
看 DataNode 的数量。因为目前只有 3 台设备，最多也就 3 个副本，只有节点数的增加到 10
这里设置的副本数只是记录在 NameNode 的元数据中，是否真的会有这么多副本，还得
看 DataNode 的数量。因为目前只有 3 台设备，最多也就 3 个副本，只有节点数的增加到 10
台时，副本数才能达到