HDFS常用操作命令

HDFS常用操作命令包括：上传、下载和对HDFS进行直接操作。

可以在启动好所需要的服务后，打开链接 http://hadoop102:9870/ 选择【utilities】->【Browse the file system】用可视化界面查看文件系统中的文件存储情况。

上传

可以先进入hadoop根目录，如/opt/module/hadoop-x.x.x/

（1）-moveFromLocal：从本地移动到HDFS（剪切粘贴）

vim volA.txt
hadoop fs -moveFromLocal ./volA.txt /basicFolder

（2）-copyFromLocal：从本地拷贝到HDFS

vim volB.txt
hadoop fs -moveFromLocal colB.txt /basicFolder

（3）-put：从本地拷贝到HDFS，等于上面的（2），但put更加常用

vim volC.txt
hadoop fs -put colC.txt /basicFolder

（4）-appendToFile：追加一个文件的内容到指定文件末尾，HDFS只能追加，不能随机修改。

vim item1.txt
hadoop fs -appendToFIle item1.txt /basicFolder/colA.txt

下载

（1）-copyToLocal：从HDFS中将指定文件拷贝到本地

hadoop fs -copyToLocal /basicFolder/volA.txt ./

（2）-get：从HDFS中将指定文件拷贝到本地，等于上面的（1），这个更常用。另外，在拷贝的过程中可以重命名文件。

hadoop fs -get /basicFolder/volA.txt ./volA2.txt

直接操作

（1）直接列出这些零碎操作，这些操作与linux中的操作很相像。

#浏览目录 -ls
hadoop fs -ls /
hadoop fs -ls /basicFolder

#查看文件内容 -cat
hadoop fs -cat /basicFolder/volA.txt

#修改文件权限和所属权限 -chmod -chown -chgrp
hadoop fs -chmod 666 /basicFolder/volA.txt
hadoop fs -chown xunn:xunn /basicFolder/volA.txt

#创建文件夹（路径） -mkdir
hadoop fs -mkdir /secondFolder

#将一个文件拷贝到一个指定文件夹下（在HDFS中）
hadoop fs -cp /basicFolder/volA.txt /secondFolder

#移动指定文件到指定文件夹下（在HDFS中）
hadoop fs -mv /basicFolder/volB.txt /secondFolder
hadoop fs -mv /basicFolder/volC.txt /secondFolder

#显示文件末尾内容（最大1kb） -tail
#因为文件只能以追加的形式修改，所以文件末尾信息是最新的，即更加关注文件末尾内容
hadoop fs -tail /basicFolder/volA.txt

#删除指定文件或文件夹 -rm
hadoop fs -rm /basicFolder/volA.txt

#递归删除指定目录和目录里面的内容 -rm -r
hadoop fs -rm -r /basicfolder

#统计文件夹大小 -du
#统计当前文件夹内每个文件
hadoop fs -du -h /secondFolder
#只统计当前文件夹（总的）
hadoop fs -du -s -h /secondFolder
#显示的结果有两个数，前者是大小，后者是所有备份的大小，是前者的整数倍。

（2）修改HDFS中文件的副本数（set replication）。其中，每台机器最多只会存一个副本。也可在页面中修改。

hadoop fs -setrep 5 /secondFolder/volA.txt