MapReduce中的分布式缓存（DistributedCache）

1、简介

DistributedCache是Hadoop为MapReduce框架提供的一种分布式缓存机制，它会将需要缓存的文件分发到各个执行任务的子节点机器中，各个节点可以自行读取本地文件系统上的数据进行处理。

2、符号链接

可以在原本HDFS文件路径上+“ #somename”来设置符号连接（相当于一个快捷方式）。

这样在MapReduce程序中可以直接通过：

File file = new File("somename");

来获得这个文件。

3、注意事项

（1）需要分发的文件必须是存储在HDFS上了。默认的路径是hdfs：//的，不是file：//。

（2）文件只读。

（3）不缓存太大的文件，执行task之前会对文件进行分发，影响task的启动速度。