hdfs shell简介
- 调用文件系统(FS)Shell命令应改使用 bin/ hdfs dfs -xxx 的形式。
- 所有的FS shell命令都使用URI路径作为参数。
URI格式:scheme://authority/path。
HDFS的scheme是hdfs,对于本地的文件系统scheme是file。其中scheme和authority参数都是可选择的,若没有加指定,则使用配置中默认的scheme。
例如:/father/kid
可以表示成hdfs://node:nodeport/father/kid,
或者更简单的/father/kid(假设配置文件是node:nodeport)
- 大多数的FS Shell命令的行为都与对应的Linux Shell命令类似。
hdfs shell 的常用操作简介
调用文件系统(FS)Shell命令应使用 bin/hdfs dfs -xxx
的格式。
-ls /
路径为空,表示显示/user/<currentUser>
-h表示文件大小显示时,使用合适的单位
-R表示递归显示路径的所有内容
-put localSrc hdfsdst
从本地上传文件(夹)到hdfs中,若hdfs已经存在了同名的文件(夹),则会报错。
-f表示覆盖hdfs的同名文件(夹)
-p表示上传时保留文件原来的ownerid、groupid、accesstime、modification time属性
-get hdfssrc localdst
从hdfs下载文件到本地
-mkdir hdfsdst
创建文件夹
-p表示递归创建文件夹
-cp hdfssrc hdfsdst
在hdfs中复制
-help cmd
显示命令的帮助