HDFS shell命令行解释说明
介绍
- 命令行界面(英语:command-line interface,缩写:CLI),是指用户通过键盘输入指令,计算机接收到指令后,予以一种人际交互方式。
- Hadoop提供了文件系统的shell命令行客户端:hadoop fs[generic options]
文件系统协议
- HDFS shell CIL支持操作多种文件系统,包括本地文件系统(file:///)、分布式文件系统(hdfs://nn:8020)等
- 具体操作的是什么文件系统取决于命令中文件路径URL中的前缀协议
- 如果没有指定前缀,将会读取环境变量中的fs.defaultFS属性,以该属性值作为默认文件系统
区别
- hadoop dfs只能操作HDFS文件系统(包括与Local FS间的操作),不过已经Deprecated;
- hdfs dfs只能操作HDFS文件系统相关(包括与Local FS间的操作),常用
- hadoop fs可操作任意文件系统,不仅仅是hdfs文件系统,使用范围更广
目前版本来看,官方最终推荐使用的是hadoop fs。当然hdfs dfs在市面上的使用也比较多
参数说明
- HDFS文件系统的操作命令很多和Linux类似,因此学习成本较低
- 可通过hadoop fs -help命令来查看每个命令的详细用法
HDFS shell命令行常用操作
创建文件夹
- hadoop fs -mkdir [-p]< path >…
path 为待创建的目录
-p选项的行为与Unix mkdir -p非常相似,它会沿着路径创建父目录
查看指定目录下内容
- hadoop fs -ls [-h] [-R] [< path>…]
path指定目录路径
-h人性化显示文件size
-R递归查看指定目录及子目录
上传文件到HDFS指定目录下
- hadoop fs -put [-f] [-p] < localsrc >…< dst >
-f 覆盖目标文件(已存在下)
-p保留访问和修改时间,所有权和权限。
localsrc本地文件系统(客户端所在机器)
dst目标文件系统(HDFS)
查看HDFS文件内容
- hadoop fs -cat < src >…
读取指定文件全部内容,显示在标准输出控制台
注意:对于大文件内容读取,慎重
下载HDFS文件
- hadoop fs -get [-f] [-p]< src >…< localdst >
下载文件到本地文件系统指定目录,localdst必须是目录
-f覆盖目标文件(已存在下)
-p保留访问和修改时间,所有权和权限
拷贝HDFS文件
hadoop fs -cp [-f] < src >…< dst >
-f覆盖目标文件下(已存在下)
追加数据到HDFS文件中
- hadoop fs -appendToFile < localsrc >… < dst >
将所有给定本地文件的内容追加到给定dst文件。
dst度过文件不存在,将创建该文件
如果< localSrc >为-,则输入为从标准输入中读取。
HDFS数据移动操作
- hadoop fs -mv < src> … < dst >
移动文件到指定文件夹下
可以使用该命令移动数据,重命名文件的名称