cyony的博客

原创 分布式缓存应用

在MR作业中，经常有使所有节点的作业共享引用数据的需求，Hadoop为我们提供了一种可供选择的机制：分布式缓存。它可以把map或reduce任务要用的通用只读文件在所有节点之间共享。这些文件可以是文本数据，也可以是jar包或者二进制文件，任何文件都可以。