DistributedCache.getLocalCacheFiles小坑

今天掉到getLocalCacheFiles的小坑里了。DistributedCache主要有getLocalCacheArchives和getLocalCacheFiles两个接口可以获取文件，我就理所当然的以为后者是拿非Archives文件了。结果处理时总是有不期望的字符出现，搞得我一度怀疑文本文件在HDFS中会被加上一些头，指明K/V类型以及分布之类的东西了。后来甚至抄了Hadoop源码中RecordReader的相关处理代码也仍然不行。最后才发现原来getLocalCacheFiles其实是把DistributedCache中的所有文件都拿回来了。于是加了文件名过滤，轻松搞定。

 

主函数：

main()
{
....    
                    DistributedCache.addFileToClassPath(new Path("/lib/mysql-connector-java-5.1.21-bin.jar"), job.getConfiguration());
                    DistributedCache.addCacheFile(new Path("/usr/tester/myfile").toUri(), job.getConfiguration());

 ....
}

Mapper中：

                        protected void setup(Context context
                                        ) throws IOException, InterruptedException
                        {
                                localFiles = DistributedCache.getLocalCacheFiles(context.getConfiguration());

                                for (Path cFile : localFiles) {
                                        if (-1 == cFile.toString().indexOf("myfile") )
                                                continue;

                                        BufferedReader fis = new BufferedReader(new FileReader(cFile.toString()));
                                        String id = null;
                                        while ((id = fis.readLine()) != null) {
                                                ids.add( Long.parseLong(id) );
                                        }
                                }
                        }

 

一个比较全的DistributedCache使用例子。http://blog.csdn.net/posa88/article/details/7870869

转载于:https://www.cnblogs.com/szlx/archive/2012/08/29/2662806.html