2.4 Apache Hadoop、HDFS - HDFS shell操作

HDFS shell操作

一、HDFS shell命令行解释说明

介绍

• 命令行界面（英语：command-line interface，缩写：CLI），是指用户通过键盘输入指令，计算机接收到指令后，予以执行一种人际交互方式。
• Hadoop提供了文件系统的shell命令行客户端: hadoop fs [generic options]
  

文件系统协议

• HDFS Shell CLI支持操作多种文件系统，包括本地文件系统（file:///）、分布式文件系统（hdfs://nn:8020）等
• 具体操作的是什么文件系统取决于命令中文件路径URL中的前缀协议。
• 如果没有指定前缀，则将会读取环境变量中的fs.defaultFS属性（本地配置好的默认值），以该属性值作为默认文件系统。

hadoop fs -ls file:///               #操作本地文件系统
hadoop fs -ls hdfs://node1:8020/     #操作HDFS分布式文件系统
hadoop fs -ls /                      #直接根目录，没有指定协议 将加载读取fs.defaultFS值

区别

• hadoop dfs 只能操作HDFS文件系统（包括与Local FS间的操作），不过已经Deprecated；
• hdfs dfs 只能操作HDFS文件系统相关（包括与Local FS间的操作）,常用；
• hadoop fs 可操作任意文件系统，不仅仅是hdfs文件系统，使用范围更广；
  目前版本来看，官方最终推荐使用的是hadoop fs。当然hdfs dfs在市面上的使用也比较多。
  

参数说明

• HDFS文件系统的操作命令很多和Linux类似，因此学习成本相对较低。
• 可以通过hadoop fs -help命令来查看每个命令的详细用法。

Usage: hadoop fs [generic options]
[-appendToFile <localsrc> ... <dst>]
[-cat [-ignoreCrc] <src> ...]
……
-appendToFile <localsrc> .