hadoop源码剖析--RawLocalFileSystem-CSDN博客

RawLocalFileSystem是Hadoop实现的本地文件系统，它通过适配java.io.File API来处理文件元数据和目录操作。以mkDirs()方法为例，文章详细剖析了其内部工作机制，包括如何利用LocalFSFileInputStream和LocalFSFileOutputStream进行读写操作，并讨论了读写过程中与java.api的对接。此外，还提到写操作支持append和随机写。

摘要由CSDN通过智能技术生成

RawLocalFileSystem是hadoop中实现的本地文件系统，在该类中与文件元数据和目录相关的操作，都是通过适配方式适配到java.io.File的对应API来完成的，适配过程简单，代码清晰。

1.文件元数据和目录相关的操作分析

下面主要以mkDirs()方法为例来窥探该类的实现和一些独到之处。

/****************************************************************
* Implement the FileSystem API for the raw local filesystem.
*
* 本地文件系统实现，文件元数据和目录相关的操作都是通过适配到java.io.File的对应API完成的。
*****************************************************************/
public class RawLocalFileSystem extends FileSystem {
　　static final URI NAME = URI.create("file:///"); //本地文件系统的uri scheme
　　private Path workingDir;

　/**
   * Creates the specified directory hierarchy. Does not
   * treat existence as an error.
   */
  //递归创建目录，是个幂等操作
  public boolean mkdirs(Path f) throws IOException {
    Path parent = f.getParent();
    File p2f = pathToFile(f);
    
    //如果父目录为空，试图先创建父目录
    //通过File创建目录，并判断成功创建目录
    return (parent == null || mkdirs(parent)) &&
      (p2f.mkdir() || p2f.isDirectory());
  }

  /** {
    @inheritDoc} */
  //递归创建目录，并为目录设置访问权限（通过调用shell的"chmod "命令来完成的）
  //问答：奇怪java的文件操作中没有提供chmod的api吗？？？查看java.io.File后发现提供了相应的api，
  //但控制粒度太粗了，相关api为：setReadOnly,setWritable,setReadable,setExecutable。对用户权限的控制只到了owner和other的区分对待，没有“chmod ”控制的精细
  @Override
  public boolean mkdirs(Path f, FsPermission permission) throws IOException {
    boolean b = mkdirs(f);
    setPermission(f, permission);
    return b;
  }

再看一下RawLocalFileSystem中的一个内部类RowLocalFileStatus：

 static class RawLocalFileStatus extends FileStatus {
    /* We can add extra fields here. It breaks at least CopyFiles.FilePair().
     * We recognize if the information is already loaded by check if
     * onwer.equals("").
     */
    private boolean isPermissionLoaded() {
      return !super.getOwner().equals(""); 
    }
    
    RawLocalFileStatus(File f, long defaultBlockSize, FileSystem fs) {
      super(f.length(), f.isDirectory(), 1, defaultBlockSize,
            f.lastModified(), new Path(f.