Hadoop中的一致模型

文件系统的一致模型描述了文件数据读写的可见性。

新建一个文件时，在文件系统中立即可见，例如：fs.creat(/test.txt),当程序运行到此，文件系统中就可以看到这个文件，但是在写入数据时，不会立即可见。

前提：在程序运行未完成时，查看被创建的文件中的数据是否存在

①向文件系统中写入数据，使用flush()方法时，查看文件中数据的可见性

package hadoop002;

import java.net.URI;
import java.util.Scanner;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class Test04 {
	public static void main(String[] args) throws Exception {
		Configuration conf=new Configuration();
		URI uri=new URI("hdfs://hadoop104:9000");
		FileSystem fs=FileSystem.get(uri, conf, "root");
		 FSDataOutputStream out=fs.create(new Path("/test/test.txt"));
		 //随便向文件中输入一段文字
		 out.writeUTF("I Love China!");
		 out.flush();
		 //以下控制台输入数据，让线程阻塞，查看集群中的数据
		 Scanner scan=new Scanner(System.in);
		 scan.hasNextLine();
		 scan.close();
		 out.close();
		 fs.close();	
	}

}

程序未运行前，文件不存在

程序运行之后，文件存在，查看文件内容不存在，当写入的数据超过一个块后，第一个块中的数据才可见

②使用hflush（）方法，可以 确保数据被刷新到da’tanode的内存中，但是不确保数据被写入磁盘，但是数据可见

package hadoop002;

import java.net.URI;
import java.util.Scanner;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class Test04 {
	public static void main(String[] args) throws Exception {
		Configuration conf=new Configuration();
		URI uri=new URI("hdfs://hadoop104:9000");
		FileSystem fs=FileSystem.get(uri, conf, "root");
		 FSDataOutputStream out=fs.create(new Path("/test/test.txt"));
		 //随便向文件中输入一段文字
		 out.writeUTF("I Love China!");
		 out.hflush();
		 //以下控制台输入数据，让线程阻塞，查看集群中的数据
		 Scanner scan=new Scanner(System.in);
		 scan.hasNextLine();
		 scan.close();
		 out.close();
		 fs.close();
		
	}

}

运行结果查看：

叁：

hsync()方法可以确保数据被写入磁盘中。

文件在关闭close()的时候，其实隐含的执行了hflush()方法,此时数据可见，例如运行如下代码，在阻塞之前将流关闭

package hadoop002;

import java.net.URI;
import java.util.Scanner;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class Test04 {
	public static void main(String[] args) throws Exception {
		Configuration conf=new Configuration();
		URI uri=new URI("hdfs://hadoop104:9000");
		FileSystem fs=FileSystem.get(uri, conf, "root");
		 FSDataOutputStream out=fs.create(new Path("/test/test.txt"));
		 //随便向文件中输入一段文字
		 out.writeUTF("I Love China!");
		 out.flush();
		 out.close();
		 //以下控制台输入数据，让线程阻塞，查看集群中的数据
		 Scanner scan=new Scanner(System.in);
		 scan.hasNextLine();
		 scan.close();
		 fs.close();
		
	}

}