Hadoop的分布式缓存DistributedCache使用方法

本人hadoop使用环境：

在本机用Eclipse插件连接到实验室服务器上运行的。

下面说下分布式缓存的使用方法：

首先，你要在你的main()函数里面添加分布式缓存文件：

//将矩阵A作为分布式缓存

DistributedCache.addCacheFile(new URI("hdfs://1.1.2.1:9000/user/1M_A/Atest.txt"), comW.getConfiguration());

至此，你已经告诉了hadoop你有个缓存文件叫Atest.txt

然后在map端的setup()函数中：

//从分布式缓存中读取矩阵A

//注意：此处使用的是getCacheFiles()，我不明白网上很多人为什么使用getLocalCacheFile，费解

URI[] caches = DistributedCache.getCacheFiles(con.getConfiguration());
//然后就是正常的输入
FileSystem fs = FileSystem.get(caches[0] , con.getConfiguration());
InputStream in = fs.open(new Path(caches[0]));
Scanner input_A = new Scanner(in);
Atest = input_A.next();

到此结束。

PS：在网上查阅资料的时候，会碰到许多种解决办法，但是每个人的实际操作环境不同，不同的解决方案又不一样的效果。

bless