HDFS的shell命令

 hdfs的shell命令可以hadoop fs开头也可以是hdfs dfs开头

上传命令

1.创建目录

hdfs dfs -mkdir /路径/目录名称

2.把本地文件剪切到hdfs

hdfs dfs -moveFromLocal  文件路径 目标路径

3.复制文件到hdfs

hdfs dfs -put 文件路径 目标路径

4.追加一个文件到已经存在的文件末尾

hdfs dfs -appendToFile 文件路径  目标路径

下载命令

1.get命令

hdfs dfs -get hdfs路径 本地路径

HDFS直接操作

1.ls 显示目录信息

hdfs dfs -ls 路径

2.cat显示文件内容

hdfs dfs -cat 路径

3. chown修改拥有者和用户组信息

hdfs dfs -chown 拥有者：用户组 路径

4.cp 一个路径拷贝到另一个路径

hdfs dfs -cp  源路径  目标路径

5.-mv 移动文件

6. -tail显示文件末尾1kb的数据

7.  -rm 删除文件

8. -rm -rf 删除目录及其以下文件

9. -du 

hdfs dfs -du -s -h 文件夹路径
可以显示出文件夹的大小，以及所有副本的总大小

hdfs dfs -du  -h 文件夹路径
可以显示出文件夹下问价的大小

• -s：只显示指定路径的总大小，不显示每个子目录的大小。
• -h：以KB、MB或GB等易读的方式显示文件或目录的大小。

10. -setrep设置hdfs中文件的副本数量

hdfs dfs -setrep 副本数量 文件路径

 如果设置的副本数量大于节点数，最多每个节点存储一个副本，当集群增加节点时会继续增加副本数量满足设置的副本数量。