Hadoop为MapReduce提供的分布式缓存机制

概述

        Hadoop为MapReduce框架提供了一种分布式缓存机制，可用于Job、Map Task或Reduce Task之间的数据共享。分布式缓存机制会将需要缓存的文件分发到各个执行任务的子节点的机器中，这样各个节点就可以自动读取本地文件系统上的数据进行处理

 

使用方式

• 添加分布式缓存文件

旧版本中DistributedCache已经被注解为过时，使用新版API方式如下

// 不同文件类型的添加方法
job.addArchiveToClassPath(archive);        // 缓存jar包到task运行节点的classpath中
job.addFileToClassPath(file);              // 缓存普通文件到task运行节点的classpath中
job.addCacheArchive(uri);                  // 缓存压缩包文件到task运行节点的工作目录
job.addCacheFile(uri);                     // 缓存普通文件到task运行节点的工作目录

补充：在原本HDFS文件路径后面加上“#filename”即可设置符号连接（在新版API中此方式会默认创建符号连接，相当于快捷方式），在MapReduce程序中可直接通过如下方式获取这个文件

File file = new File("filename");

注意：要想使用上面的符号连接，需要确认是否开启了符号连接，可通过如下方式检查

FileSystem.areS