hadoop分布式缓存

概念：

    在执行MapReduce时，可能mapper之间需要共享一些信息，如果信息量不大，可以将其从HDFS加载到内存中。

使用DistributedCache方法：

    1.在main方法中加载共享文件的HDFS路径，路径可以是目录也可以是文件。可以在路径中末位追加“#”+别名，在map阶段可以使用该别名

   String cache="hdfs://10.203.87.5:8020/cache/file";

   cache=cache+"#myfile";//myfile是别名

   job.addCacheFile(new Path(cache).toUri(),conf);//添加到job设置

   2.在Mapper类或Reducer的setup方法中，用输入流获取分布式缓存文件   

protected void setup(Conetxt context) throws IOException{
	
    FileReader reader=new FileReader();
	BufferedReader br=new BufferedReader(reader);
}

加载到内存发生在job之前，每个从节点各自都缓存一份相同的共享数据。如果共享数据太大，可以将共享数据分批缓存，重复执行作业。