HDFS常用操作命令包括:上传、下载和对HDFS进行直接操作。
可以在启动好所需要的服务后,打开链接 http://hadoop102:9870/ 选择【utilities】->【Browse the file system】用可视化界面查看文件系统中的文件存储情况。
上传
可以先进入hadoop根目录,如/opt/module/hadoop-x.x.x/
(1)-moveFromLocal:从本地移动到HDFS(剪切粘贴)
vim volA.txt
hadoop fs -moveFromLocal ./volA.txt /basicFolder
(2)-copyFromLocal:从本地拷贝到HDFS
vim volB.txt
hadoop fs -moveFromLocal colB.txt /basicFolder
(3)-put:从本地拷贝到HDFS,等于上面的(2),但put更加常用
vim volC.txt
hadoop fs -put colC.txt /basicFolder
(4)-appendToFile:追加一个文件的内容到指定文件末尾,HDFS只能追加,不能随机修改。
vim item1.txt
hadoop fs -appendToFIle item1.txt /basicFolder/colA.txt
下载
(1)-copyToLocal:从HDFS中将指定文件拷贝到本地
hadoop fs -copyToLocal /basicFolder/volA.txt ./
(2)-get:从HDFS中将指定文件拷贝到本地,等于上面的(1),这个更常用。另外,在拷贝的过程中可以重命名文件。
hadoop fs -get /basicFolder/volA.txt ./volA2.txt
直接操作
(1)直接列出这些零碎操作,这些操作与linux中的操作很相像。
#浏览目录 -ls
hadoop fs -ls /
hadoop fs -ls /basicFolder
#查看文件内容 -cat
hadoop fs -cat /basicFolder/volA.txt
#修改文件权限和所属权限 -chmod -chown -chgrp
hadoop fs -chmod 666 /basicFolder/volA.txt
hadoop fs -chown xunn:xunn /basicFolder/volA.txt
#创建文件夹(路径) -mkdir
hadoop fs -mkdir /secondFolder
#将一个文件拷贝到一个指定文件夹下(在HDFS中)
hadoop fs -cp /basicFolder/volA.txt /secondFolder
#移动指定文件到指定文件夹下(在HDFS中)
hadoop fs -mv /basicFolder/volB.txt /secondFolder
hadoop fs -mv /basicFolder/volC.txt /secondFolder
#显示文件末尾内容(最大1kb) -tail
#因为文件只能以追加的形式修改,所以文件末尾信息是最新的,即更加关注文件末尾内容
hadoop fs -tail /basicFolder/volA.txt
#删除指定文件或文件夹 -rm
hadoop fs -rm /basicFolder/volA.txt
#递归删除指定目录和目录里面的内容 -rm -r
hadoop fs -rm -r /basicfolder
#统计文件夹大小 -du
#统计当前文件夹内每个文件
hadoop fs -du -h /secondFolder
#只统计当前文件夹(总的)
hadoop fs -du -s -h /secondFolder
#显示的结果有两个数,前者是大小,后者是所有备份的大小,是前者的整数倍。
(2)修改HDFS中文件的副本数(set replication)。其中,每台机器最多只会存一个副本。也可在页面中修改。
hadoop fs -setrep 5 /secondFolder/volA.txt