文件系统的一致模型描述了文件数据读写的可见性。
新建一个文件时,在文件系统中立即可见,例如:fs.creat(/test.txt),当程序运行到此,文件系统中就可以看到这个文件,但是在写入数据时,不会立即可见。
前提:在程序运行未完成时,查看被创建的文件中的数据是否存在
①向文件系统中写入数据,使用flush()方法时,查看文件中数据的可见性
package hadoop002;
import java.net.URI;
import java.util.Scanner;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class Test04 {
public static void main(String[] args) throws Exception {
Configuration conf=new Configuration();
URI uri=new URI("hdfs://hadoop104:9000");
FileSystem fs=FileSystem.get(uri, conf, "root");
FSDataOutputStream out=fs.create(new Path("/test/test.txt"));
//随便向文件中输入一段文字
out.writeUTF("I Love China!");
out.flush();
//以下控制台输入数据,让线程阻塞,查看集群中的数据
Scanner scan=new Scanner(System.in);
scan.hasNextLine();
scan.close();
out.close();
fs.close();
}
}
程序未运行前,文件不存在
程序运行之后,文件存在,查看文件内容不存在,当写入的数据超过一个块后,第一个块中的数据才可见
②使用hflush()方法,可以 确保数据被刷新到da’tanode的内存中,但是不确保数据被写入磁盘,但是数据可见
package hadoop002;
import java.net.URI;
import java.util.Scanner;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class Test04 {
public static void main(String[] args) throws Exception {
Configuration conf=new Configuration();
URI uri=new URI("hdfs://hadoop104:9000");
FileSystem fs=FileSystem.get(uri, conf, "root");
FSDataOutputStream out=fs.create(new Path("/test/test.txt"));
//随便向文件中输入一段文字
out.writeUTF("I Love China!");
out.hflush();
//以下控制台输入数据,让线程阻塞,查看集群中的数据
Scanner scan=new Scanner(System.in);
scan.hasNextLine();
scan.close();
out.close();
fs.close();
}
}
运行结果查看:
叁:
hsync()方法可以确保数据被写入磁盘中。
文件在关闭close()的时候,其实隐含的执行了hflush()方法,此时数据可见,例如运行如下代码,在阻塞之前将流关闭
package hadoop002;
import java.net.URI;
import java.util.Scanner;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class Test04 {
public static void main(String[] args) throws Exception {
Configuration conf=new Configuration();
URI uri=new URI("hdfs://hadoop104:9000");
FileSystem fs=FileSystem.get(uri, conf, "root");
FSDataOutputStream out=fs.create(new Path("/test/test.txt"));
//随便向文件中输入一段文字
out.writeUTF("I Love China!");
out.flush();
out.close();
//以下控制台输入数据,让线程阻塞,查看集群中的数据
Scanner scan=new Scanner(System.in);
scan.hasNextLine();
scan.close();
fs.close();
}
}