HDFS写入数据及创建目录

FileSystem类有一系列新建文件的方法。最简单的方法就是给准备建的文件指定一个Path对象，然后返回一个用于写入数据的输出流：public FSDataOutputStream create(Path f) throws IOException 此方法有多个重载版本，允许我们指定是否需要强制覆盖现有的文件、文件备份数量、写入文件时所用缓冲区大小、文件块大小、以及文件权限。

create()方法能够为需要写入且当前不存在的文件创建父目录。尽管这样很方便，但有时并不希望这样。因为如果父目录不存在就导致文件写入失败，则应该先调用exists()方法检查父目录是否存在。另一种方案就是使用FileContext，允许你可以控制是否创建父目录。

还有一个重载方法Progessable用于传递回调接口，如此一来，可以把数据写入datanode的进度通知给应用：

package org.apache.hadoop.util;

public interface Progessable{
    public void progress();
}

另一种新建文件的方法就是使用append()方法在一个现有文件末尾追加数据：

public FSDataOutputStream append(Path f) throws IOException

这样的追加操作允许一个write打开文件后在访问该文件的最后偏移量处追加数据。有了这个API，某些应用可以创建无边界文件，例如，应用可以在关闭日志文件之后继续追加日志。该追加操作是可选的，并非所有Hadoop文件系统都实现了该操作。例如，HDFS支持追加，但S3文件系统就不支持。

下面举个例子，将本地文件复制到Hadoop文件系统中。每次Hadoop调用progress()方法时，也就是每次将64KB数据包写入datanode管线后，打印一个时间点来显示整个运行过程。注意，这个操作并不是通过API实现的，因此Hadoop后续版本能否执行该操作，取决于该版本是否修改过上述操作。API只是让我们知道“正在发生什么事情”

代码示例：

public class FileCopyWithProgress{
    public static void main(String[] args) throws Exception{
        String localSrc = args[0];
        String dst = args[1];
        InputStream in = new BufferedInputStream(new FileInputStream(localSrc));

        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(URI.create(dst),conf);
        OutputStream out = fs.create(new Path(dst),new Progressable(){
           public void progress(){
                System.out.print(".");
            } 
        });
        
        IOUtils.copyBytes(in,out,4096,true);
    }
}

典型应用如下：

% hadoop FileCopyWithProgress input/docs/1400-8.txt
hdfs://localhost/user/tom/1400-8.txt
......
......

目前，其他Hadoop文件系统写入文件时均不调用progress()方法。

 

FSDataOutputStream对象

FileSystem实例的create()方法返回FSDataOutputStream对象，与FSDataInputStream类相似，也有一个查询文件当前位置的方法。

package org.apache.hadoop.fs;

public class FSDataOutputStream extends DataOutputStream implements Syncable{
    public long getPos() throws IOException{
        //implementation elided
    }
    //implementation elided
}

但与FSDataInputStream类不同的是，FSDataOutputStream类不允许在文件中定位。这是因为HDFS只允许对一个已打开的文件顺序写入，或在有现有文件的末尾追加数据。换句话说，它不支持在除文件末尾之外的其他位置进行写入，因此，写入时定位就没有什么意义。

 

FileSystem创建目录

public boolean mkdirs(Path f) throws IOException

这个方法可以一次性新建所有必要但还没有的父目录，就像java.io.File类的mkdirs方法，如果目录（包括所有父目录）都已经创建成功，则返回true。

通常，我们不需要显式创建一个目录，因为调用create()方法写入文件时会自动创建父目录。