HDFS shell

HDFS shell命令行解释说明

介绍

• 命令行界面（英语：command-line interface，缩写：CLI），是指用户通过键盘输入指令，计算机接收到指令后，予以一种人际交互方式。
• Hadoop提供了文件系统的shell命令行客户端：hadoop fs[generic options]

文件系统协议

• HDFS shell CIL支持操作多种文件系统，包括本地文件系统（file：///）、分布式文件系统（hdfs：//nn:8020）等
• 具体操作的是什么文件系统取决于命令中文件路径URL中的前缀协议
• 如果没有指定前缀，将会读取环境变量中的fs.defaultFS属性，以该属性值作为默认文件系统

区别

• hadoop dfs只能操作HDFS文件系统（包括与Local FS间的操作），不过已经Deprecated；
• hdfs dfs只能操作HDFS文件系统相关（包括与Local FS间的操作），常用
• hadoop fs可操作任意文件系统，不仅仅是hdfs文件系统，使用范围更广
  目前版本来看，官方最终推荐使用的是hadoop fs。当然hdfs dfs在市面上的使用也比较多

参数说明

• HDFS文件系统的操作命令很多和Linux类似，因此学习成本较低
• 可通过hadoop fs -help命令来查看每个命令的详细用法

HDFS shell命令行常用操作

创建文件夹

• hadoop fs -mkdir [-p]< path >…
  path 为待创建的目录
  -p选项的行为与Unix mkdir -p非常相似，它会沿着路径创建父目录

查看指定目录下内容

• hadoop fs -ls [-h] [-R] [< path>…]
  path指定目录路径
  -h人性化显示文件size
  -R递归查看指定目录及子目录

上传文件到HDFS指定目录下

• hadoop fs -put [-f] [-p] < localsrc >…< dst >
  -f 覆盖目标文件（已存在下）
  -p保留访问和修改时间，所有权和权限。
  localsrc本地文件系统（客户端所在机器）
  dst目标文件系统（HDFS）

查看HDFS文件内容

• hadoop fs -cat < src >…
  读取指定文件全部内容，显示在标准输出控制台
  注意：对于大文件内容读取，慎重

下载HDFS文件

• hadoop fs -get [-f] [-p]< src >…< localdst >
  下载文件到本地文件系统指定目录，localdst必须是目录
  -f覆盖目标文件（已存在下）
  -p保留访问和修改时间，所有权和权限

拷贝HDFS文件

hadoop fs -cp [-f] < src >…< dst >
-f覆盖目标文件下（已存在下）

追加数据到HDFS文件中

• hadoop fs -appendToFile < localsrc >… < dst >
  将所有给定本地文件的内容追加到给定dst文件。
  dst度过文件不存在，将创建该文件
  如果< localSrc >为-，则输入为从标准输入中读取。

HDFS数据移动操作

• hadoop fs -mv < src> … < dst >
  移动文件到指定文件夹下
  可以使用该命令移动数据，重命名文件的名称