填坑之路——Hadoop分布式缓存

一、概念介绍

1、分布式缓存的理解：Hadoop为MapReduce框架提供的一种分布式缓存机制，它会将需要缓存的文件分发到各个执行任务的子节点的机器中，各个节点可以自行读取本地文件系统上的数据进行处理。

2、符号连接：在原本HDFS文件路径上加”#filename”来设置符号连接（这样写新API会默认创建符号连接，相当于一个快捷方式）

　　这样在MapReduce程序中可以直接通过：File file = new File("filename");来获得这个文件。

　要使用符号连接，需要检查是否启用了符号连接，通过 FileSystem.areSymlinksEnabled()的布尔返回值来确定。
  如果未开启，使用 FileSystem.enableSymlinks()方法来开启符号连接。

二、使用
1、添加分布式缓存：添加分布式缓存，将文件复制到任务节点

旧版本的DistributedCache已经被注解为过时，使用新的API来解决这个问题，如下：

不同文件类型的添加方法：
job.addArchiveToClassPath(archive); // 缓存jar包到task运行节点的classpath中 
job.addFileToClassPath(file); // 缓存普通文件到task运行节点的classpath中 
job.addCacheArchive(uri); // 缓存压缩包文件到task运行节点的工作目录 
job.addCacheFile(uri) // 缓存普通文件到task运行节点的工作目录

举个具体的例子：
在main方法中，创建job时，添加需要使用到的缓存文件，如果需要使用第二个参数，URI参数那里可以不写hdfs://node:8020(举例)
job.addCacheFile(new URI("/foo/bar//fileName.txt#fileName.txt"));//添加hdfs文件做缓存
2、使用分布式缓存
在Mapper类的setup方法中读取分布式缓存文件：Mapper类主要有4个方法：setup(),map(),cleanup(),run(),run()方法调用其它三个方法，顺序是：setup()-map()-cleanup。并且setup()执行且仅
执行一次，主要用来为map()方法做一些准备工作，所以很多初始化的工作尽量放在这里做。Reducer类也是类似的。
setup()方法实现示例如下：

 @Override
        protected void setup(Context context) throws IOException, InterruptedException {
            super.setup(context);
            if (context.getCacheFiles() != null && context.getCacheFiles().length > 0) {            
                BufferedReader br = br = new BufferedReader(new InputStreamReader(new FileInputStream("fileName")));
　　　　　　　　　　// 这里的fileName应该是上一步中 # 后面的名字，需要对应
                String line;
                while ((line = br.readLine()) != null) {
                    String[] temp = line.split("\t");
                    // 具体的处理逻辑
                }              
                br.close();
            }
        }

参考：http://www.codeweblog.com/yarn-mapreduce-2-0-%E4%B8%8B%E5%88%86%E5%B8%83%E5%BC%8F%E7%BC%93%E5%AD%98-distributedcache-%E7%9A%84%E6%B3%A8%E6%84%8F%E4%BA%8B%E9%A1%B9/

转载于:https://www.cnblogs.com/loveling-0239/p/7884195.html