HDFS shell操作
使用hdfs前先启动start-dfs.sh
hdfs系统的文件操作入口hadoop fs [options]
,也可以使用hdfs dfs [options]
,这两者的区别是:前者适用范围更广,能够操作任何的文件系统;后者是专门对hdfs文件系统的操作。
可以使用hadoop fs
查看命令帮助
hadoop fs -ls
显示路径下文件信息
hadoop fs -ls -R
hadoop fs -ls 的递归版本,查看当前目录及其子目录所有信息
hadoop fs -du
查看文件大小或者目录下包含的所有文件的大小
hadoop fs -du -s
查看目录下所有文件的大小之之和
hadoop fs -count
显示目录下包含的文件数量
hadoop fs -mv
移动文件:第一个参数表示被移动文件位置,第二个参数表示移动的目标位置
hadoop fs -cp
cp 命令在 HDFS 文件系统中用于文件的复制
复制文件和目录:将文件从源路径复制到目标路径
hadoop fs -rm
删除文件
递归版本:hadoop fs -rm -r
hadoop fs -put
put 命令用于将本地文件上传(复制)到 HDFS 系统中
hadoop fs -copyFromLocal
与其功能一样
hadoop fs -moveFromLocal
将文件或目录从本地文件系统移动到hdfs
hadoop fs -getmerge
将源目录下的所有文件合成一个文件后输出到本地文件系统
示例:hadoop fs -getmerge /sanguo /home/sanguo/test.txt
将/sanguo下的所有文件合并后输出到本地文件系统
hadoop fs -cat
查看文件, hadoop fs -text
与其功能一样
hadoop fs -mkdir
创建一个目录
hadoop fs -touchz
在hdfs中创建零字节的空白文件
hadoop fs -stat
以指定格式返回指定文件的相关信息。当不指定format时返回文件的创建日期
hadoop fs -tail
显示文件最后1KB内容到stdout,一般用于查看日志
hadoop fs -chmod
修改文件权限,使用-R递归更改权限,使用者必须是文件的所有者或者是root用户
hadoop fs -chown
更改文件的有所有者,-R递归更改,使用者必须是root用户
hadoop fs -chgrp
更改文件所属的组,-R递归更改,使用者必须是文件所有者或root用户
hadoop fs -setrep
改变文件的副本系数,-R递归
hadoop fs -expunge
清空回收站。注意:清空后数据不可恢复