Hadoop-0.20.0源代码分析（07）

前面分析了与操作系统有关的Shell命令，它们用于与操作系统进行命令行方式的交互。在Hadoop中，自定义了FileSystem文件系统，这是基于Unix操作系统之上的文件系统，为了方便对FileSystem的管理，通过org.apache.hadoop.fs.FsShell类定义了对Hadoop FileSystem文件系统进行命令行方式管理的命令实现。

先给出对Hadoop文件系统进行管理的命令实现类的继承层次关系：

◦org.apache.hadoop.conf.Configured(implements org.apache.hadoop.conf.Configurable) ◦org.apache.hadoop.fs.FsShell(implements org.apache.hadoop.util.Tool) ◦org.apache.hadoop.hdfs.tools.DFSAdmin

由于DFSAdmin类是对HDFS分布式文件系统提供基于命令行的管理功能，这里先不对DFSAdmin进行分析，在后面分析HDFS实现的时候，进行详细分析理解。

Configured就不用多说了，是Hadoop配置类的高层抽象。

Tool接口支持命令行方式的处理，如果需要通过命令行方式来执行一定的任务，都可以实现该接口，通过该接口定义的run方法来运行命令行。由于它继承自Configurable 接口，使得实现Tool的接口可以对特定的待执行的任务进行详细配置，满足执行一个命令能够完成任务的要求。下面是接口的定义：

public interface Tool extends Configurable { int run(String [] args) throws Exception; }

在Hadoop中，Tool接口主要是为进行MapReduce并行计算而定义的，这里FsShell类实现了该接口，其实也是使得命令行执行与任务关联起来，通过执行命令行，而执行设置的待完成的任务。

下面来看FsShell类的具体实现。

既然，FsShell是与命令行有关的，那么我们就从其中对指定的命令实现的角度来看，分别对每个命令的实现进行阅读分析。在分析每个命令实现过程之前，先看一下该类中printUsage方法的执行，该方法能够打印出全部命令用法的信息，如下所示：

Usage: java FsShell [-ls <path>] [-lsr <path>] [-du <path>] [-dus <path>] [-count[-q] <path>] [-mv <src> <dst>] [-cp <src> <dst>] [-rm <path>] [-rmr <path>] [-expunge] [-put <localsrc> ... <dst>] [-copyFromLocal <localsrc> ... <dst>] [-moveFromLocal <localsrc> ... <dst>] [-get [-ignoreCrc] [-crc] <src> <localdst>] [-getmerge <src> <localdst> [addnl]] [-cat <src>] [-text <src>] [-copyToLocal [-ignoreCrc] [-crc] <src> <localdst>] [-moveToLocal [-crc] <src> <localdst>] [-mkdir <path>] [-setrep [-R] [-w] <rep> <path/file>] [-touchz <path>] [-test -[ezd] <path>] [-stat [format] <path>] [-tail [-f] <file>] [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...] [-chown [-R] [OWNER][:[GROUP]] PATH...] [-chgrp [-R] GROUP PATH...] [-help [cmd]] Generic options supported are -conf <configuration file> specify an application configuration file -D <property=value> use value for given property -fs <local|namenode:port> specify a namenode -jt <local|jobtracker:port> specify a job tracker -files <comma separated list of files> specify comma separated files to be copied to the map reduce cluster -libjars <comma separated list of jars> specify comma separated jar files to include in the classpath. -archives <comma separated list of archives> specify comma separated archives to be unarchived on the compute machines. The general command line syntax is bin/hadoop command [genericOptions] [commandOptions]

非常清晰明了，FsShell所支持的命令行，及其该命令的可以设置的参数，都在上述列表中显示出来。

另外，对于每个命令的帮助信息，都可以通过printHelp方法得到，例如，如果想要得到命令“ls”的帮助信息，调用printHelp("ls");即可。如果想要得到全部命令的帮助信息，只要给printHelp随便传入一个非命令字符串，如printHelp("hashyes3532333");，将打印出全部命令帮助信息，下面是一个帮助信息的片段：

hadoop fs is the command to execute fs commands. The full syntax is: hadoop fs [-fs <local | file system URI>] [-conf <configuration file>] [-D <property=value>] [-ls <path>] [-lsr <path>] [-du <path>] [-dus <path>] [-mv <src> <dst>] [-cp <src> <dst>] [-rm <src>] [-rmr <src>] [-put <localsrc> ... <dst>] [-copyFromLocal <localsrc> ... <dst>] [-moveFromLocal <localsrc> ... <dst>] [-get [-ignoreCrc] [-crc] <src> <localdst> [-getmerge <src> <localdst> [addnl]] [-cat <src>] [-copyToLocal [-ignoreCrc] [-crc] <src> <localdst>] [-moveToLocal <src> <localdst>] [-mkdir <path>] [-report] [-setrep [-R] [-w] <rep> <path/file>] [-touchz <path>] [-test -[ezd] <path>] [-stat [format] <path>] [-tail [-f] <path>] [-text <path>] [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...] [-chown [-R] [OWNER][:[GROUP]] PATH...] [-chgrp [-R] GROUP PATH...] [-count[-q] <path>] [-help [cmd]] -fs [local | <file system URI>]: Specify the file system to use. If not specified, the current configuration is used, taken from the following, in increasing precedence: core-default.xml inside the hadoop jar file core-site.xml in $HADOOP_CONF_DIR 'local' means use the local file system as your DFS. <file system URI> specifies a particular file system to contact. This argument is optional but if used must appear appear first on the command line. Exactly one additional argument must be specified.

下面介绍每个命令的实现：

• ls与lsr命令

执行ls命令，能够列出匹配指定Path下的全部文件，并且不递归列出子目录中文件；lsr能够列出指定Path下的所有文件，并且如果存在子目录，也会递归列出子目录中的文件。实现这两个命令的方法均为ls方法，如下所示：

/** * 列出满足模式srcf的全部文件 * @param srcf 文件模式 * @param recursive 是否递归列出 */ private int ls(String srcf, boolean recursive) throws IOException { Path srcPath = new Path(srcf); FileSystem srcFs = srcPath.getFileSystem(this.getConf()); // 通过构造Path类实例，获取它所属的FileSystem文件系统 FileStatus[] srcs = srcFs.globStatus(srcPath); // 获取到文件系统srcFs中匹配srcPath模式的全部按照文件名称排好序的文件（不包括校验和文件），每个文件对应一个FileStatus if (srcs==null || srcs.length==0) { throw new FileNotFoundException("Cannot access " + srcf + ": No such file