Hadoop 3.x|第四天|HDFS的Shell操作

前言

hadoop fs xxx

和

hdfs dfs xxx

是同样的命令

上传

1.启动Hadoop集群

启动Hadoop集群

sbin/start-dfs.sh
sbin/start-yarn.sh

2.创建文件夹

参数：-mkdir

hadoop fs -mkdir /sanguo

3.从本地剪切到HDFS

参数：-moveFromLocal

 hadoop fs -moveFromLocal ./shuguo.txt /sanguo

4.从本地拷贝文件到HDFS中

参数：-copyFromLocal

hadoop fs -copyFromLocal weiguo.txt /sanguo

参数：-put，等同与上面那个

hadoop fs -put ./wuguo.txt /sanguo

5.追加一个文件到已经存在的文件末尾

-appendToFile

hadoop fs -appendToFile liubei.txt /sanguo/shuguo.txt

下载

1.从HDFS拷贝到本地

参数：-copyToLocal

hadoop fs -copyToLocal /sanguo/shuguo.txt ./

参数：-put

hadoop fs -get /sanguo/shuguo.txt ./shuguo2.txt

直接操作

1.统计文件夹的大小信息

参数：-du

[yjr@hadoop102 hadoop-3.1.3]$hadoop fs -du -h /jinguo

14 42 /jinguo/shuguo.txt
7 21 /jinguo/weiguo.txt
6 18 /jinguo/wuguo.tx

14表示文件大小，42表示 14*3 个副本，/jinguo 表示查看的目录

2.设置 HDFS 中文件的副本数量

参数：-setrep

hadoop fs -setrep 10 /jinguo/shuguo.txt

这里设置的副本数只是记录在 NameNode 的元数据中，是否真的会有这么多副本，还得看 DataNode 的数量。
因为目前只有 3 台设备，最多也就 3 个副本，只有节点数的增加到10台时，副本数才能达到 10。