HDFS命令行接口
Hadoop文件系统所提供的接口大部分接近于Linux的文件操作命令。
文件查看
hadoop fs -ls 路径名
它的输出格式类似于Unix中的”ls -l”,第1列为文件模式,第2列示文件的备份数,第3列为所属用户,第4列维所属用户组,第5列维文件大小,单位为字节,目录的话则固定为0,第6、7列则分别是文件的最后修改日期和时间,第8列为文件或目录的绝对路径。
文件拷贝
hadoop fs -copyFromLocal 本地路径 URI+hadoop路径
hadoop fs -put 本地路径 本地路径 URI+hadoop路径
hadoop fs -cp 源路径 目的路径
该指令可实现文件从本地拷贝入hadoop的文件系统中,前者为本地的文件路径,后者是hadoop的主机URI加上要拷贝进入的路径所组成的全称,例如”hdfs://localhost/user/tom/filename.txt”。如果有设置默认值的话则可省略URI。
拷贝完成后可使用Linux的md5指令比对拷贝前后的键值来保证拷贝的正确性。
创建文件夹
hadoop fs -mkdir 目录名
与Linux创建目录完全相同,不再赘述。
删除文件或目录
hadoop fs -rm 路径
可删除某个拥有权限的文件或一个目录。
hadoop fs -rmr 路径
用于递归删除一个目录,当然,也可以指定文件,则直接删除。
移动文件或目录
hadoop fs -mv 源路径 目的路径
需要注意的是,源路径与目的路径必须是HDFS中的路径,与Linux中相同,也可用于重命名。
显示文件内容
hadoop fs -cat 文件路径
用于将HDFS中的文件内容显示至标准输出。
显示磁盘使用情况
hadoop fs -du 路径
hadoop fs -dus 路径
显示路径下所有文件磁盘使用情况下,用字节大小表示,路径记得要家URI哦。
最后,HDFS的命令可通过”hadoop fs -help”来查询。