Hadoop 2.x的DistributedCache无法工作的问题

转载 2015年05月05日 01:20:53

转自:http://www.codelast.com/?p=8131

现象:和这个帖子描述的一样,简单说来就是,在Hadoop 2.x上,用新的DistributedCache的API,在mapper中会获取不到这个cache文件。
下面就详细地描述一下新旧API的用法区别以及解决办法。

『1』旧API
将HDFS文件添加到distributed cache中:

1
2
Configuration conf = job.getConfiguration();
DistributedCache.addCacheFile(new URI(inputFileOnHDFS), conf);  // add file to distributed cache

其中,inputFileOnHDFS是一个HDFS文件的路径,也就是你要用作distribute cache的文件的路径,例如 /user/codelast/123.txt
在mapper的setup()方法中:

1
2
3
Configuration conf = context.getConfiguration();
Path[] localCacheFiles = DistributedCache.getLocalCacheFiles(conf);
readCacheFile(localCacheFiles[0]);

其中,readCacheFile()是我们自己的读取cache文件的方法,可能是这样做的(仅举个例子):

1
2
3
4
5
6
7
8
private static void readCacheFile(Path cacheFilePath) throws IOException {
  BufferedReader reader = new BufferedReader(new FileReader(cacheFilePath.toUri().getPath()));
  String line;
  while ((line = reader.readLine()) != null) {
    //TODO: your code here
  }
  reader.close();
}

文章来源:http://www.codelast.com/
『2』新API
上面的代码中,addCacheFile() 方法和 getLocalCacheFiles() 都已经被Hadoop 2.x标记为 @Deprecated 了。
因此,有一套新的API来实现同样的功能,这个链接里有示例,我在这里再详细地写一下。
将HDFS文件添加到distributed cache中:

1
job.addCacheFile(new Path(inputFileOnHDFS).toUri());

在mapper的setup()方法中:

1
2
3
Configuration conf = context.getConfiguration();
URI[] localCacheFiles = context.getCacheFiles();
readCacheFile(localCacheFiles[0]);

其中,readCacheFile()是我们自己的读取cache文件的方法,可能是这样做的(仅举个例子):

1
2
3
4
5
6
7
8
private static void readCacheFile(URI cacheFileURI) throws IOException {
  BufferedReader reader = new BufferedReader(new FileReader(cacheFileURI.getPath()));
  String line;
  while ((line = reader.readLine()) != null) {
    //TODO: your code here
  }
  reader.close();
}

但是就像文章开头的那个链接里所描述的问题一样,你可能会发现 context.getCacheFiles() 总是返回null,也就是你无法读到cache文件。
这个问题有可能是这个bug造成的,你可以对比一下你的Hadoop版本。
文章来源:http://www.codelast.com/
『3』解决办法
(1)打patch
(2)升级Hadoop版本
(3)使用旧的DistributedCache API,经测试OK
文章来源:http://www.codelast.com/

Hadoop DistributedCache使用及原理

概览 DistributedCache 是一个提供给Map/Reduce框架的工具,用来缓存文件(text, archives, jars and so on)文件的默认访问协议为(hdfs...
  • leishenop
  • leishenop
  • 2017年03月01日 20:06
  • 808

Hadoop分布式缓存(DistributedCache)

package h2.cux.examples.distributedcache; import java.io.File; import java.io.FileReader; import j...
  • tswisdom
  • tswisdom
  • 2015年08月28日 17:20
  • 2236

hadoop中的分布式缓存——DistributedCache

分布式缓存一个最重要的应用就是在进行join操作的时候,如果一个表很大,另一个表很小很小,我们就可以将这个小表进行广播处理,即每个计算节点上都存一份,然后进行map端的连接操作,经过我的实验验证,这种...
  • kingjinzi_2008
  • kingjinzi_2008
  • 2012年07月12日 17:49
  • 6095

MapReduce使用DistributedCache

会有这样一种场景:youyi
  • lizhang310
  • lizhang310
  • 2014年04月25日 10:19
  • 1017

Hadoop DistributedCache使用及原理

概览 DistributedCache 是一个提供给Map/Reduce框架的工具,用来缓存文件(text, archives, jars and so on)文件的默认访问协议为(hdfs...
  • xiaolang85
  • xiaolang85
  • 2013年09月17日 17:55
  • 17947

MapReduce中的分布式缓存使用

MapReduce中的分布式缓存使用@(Hadoop)简介DistributedCache是Hadoop为MapReduce框架提供的一种分布式缓存机制,它会将需要缓存的文件分发到各个执行任务的子节点...
  • qq1010885678
  • qq1010885678
  • 2016年02月26日 16:51
  • 4823

Hadoop DistributedCache

1、DistributedCache In Hadoop 此篇文章主要是前一篇的后续,主要讲Hadoop的分布式缓存机制的原理与运用。 分布式缓存在MapReduce中称之为Distributed...
  • dandingyy
  • dandingyy
  • 2012年05月15日 16:32
  • 3687

在Eclipse上运行Hadoop程序,DistributedCache找不到文件缓存的问题

2014期李海波同学作品 【原文链接】 前一段时间在网上找了一个K-means算法的分布式实现,里面涉及到分布式缓存DistributedCache的问题,我在eclipse中运行M...
  • u014490103
  • u014490103
  • 2014年04月06日 22:16
  • 1344

配置Hadoop2.0HDFS的HA以及联邦使用QJM

HA和联邦解释         相比于Hadoop1.0,Hadoop 2.0中的HDFS增加了两个重大特性,HA和Federaion。HA即为High Availability,用于解决NameN...
  • zmx729618
  • zmx729618
  • 2016年10月09日 15:16
  • 922

Hadoop2.5.2+Sqoop-1.4.6(2.0以上的版本hadoop使用)伪分布式实现mysql数据上传到ndfs

详细图文文档 http://download.csdn.net/detail/u014449653/9730434
  • u014449653
  • u014449653
  • 2017年01月06日 11:57
  • 532
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Hadoop 2.x的DistributedCache无法工作的问题
举报原因:
原因补充:

(最多只允许输入30个字)