Hadoop 2.x的DistributedCache无法工作的问题

转载 2015年05月05日 01:20:53

转自:http://www.codelast.com/?p=8131

现象:和这个帖子描述的一样,简单说来就是,在Hadoop 2.x上,用新的DistributedCache的API,在mapper中会获取不到这个cache文件。
下面就详细地描述一下新旧API的用法区别以及解决办法。

『1』旧API
将HDFS文件添加到distributed cache中:

1
2
Configuration conf = job.getConfiguration();
DistributedCache.addCacheFile(new URI(inputFileOnHDFS), conf);  // add file to distributed cache

其中,inputFileOnHDFS是一个HDFS文件的路径,也就是你要用作distribute cache的文件的路径,例如 /user/codelast/123.txt
在mapper的setup()方法中:

1
2
3
Configuration conf = context.getConfiguration();
Path[] localCacheFiles = DistributedCache.getLocalCacheFiles(conf);
readCacheFile(localCacheFiles[0]);

其中,readCacheFile()是我们自己的读取cache文件的方法,可能是这样做的(仅举个例子):

1
2
3
4
5
6
7
8
private static void readCacheFile(Path cacheFilePath) throws IOException {
  BufferedReader reader = new BufferedReader(new FileReader(cacheFilePath.toUri().getPath()));
  String line;
  while ((line = reader.readLine()) != null) {
    //TODO: your code here
  }
  reader.close();
}

文章来源:http://www.codelast.com/
『2』新API
上面的代码中,addCacheFile() 方法和 getLocalCacheFiles() 都已经被Hadoop 2.x标记为 @Deprecated 了。
因此,有一套新的API来实现同样的功能,这个链接里有示例,我在这里再详细地写一下。
将HDFS文件添加到distributed cache中:

1
job.addCacheFile(new Path(inputFileOnHDFS).toUri());

在mapper的setup()方法中:

1
2
3
Configuration conf = context.getConfiguration();
URI[] localCacheFiles = context.getCacheFiles();
readCacheFile(localCacheFiles[0]);

其中,readCacheFile()是我们自己的读取cache文件的方法,可能是这样做的(仅举个例子):

1
2
3
4
5
6
7
8
private static void readCacheFile(URI cacheFileURI) throws IOException {
  BufferedReader reader = new BufferedReader(new FileReader(cacheFileURI.getPath()));
  String line;
  while ((line = reader.readLine()) != null) {
    //TODO: your code here
  }
  reader.close();
}

但是就像文章开头的那个链接里所描述的问题一样,你可能会发现 context.getCacheFiles() 总是返回null,也就是你无法读到cache文件。
这个问题有可能是这个bug造成的,你可以对比一下你的Hadoop版本。
文章来源:http://www.codelast.com/
『3』解决办法
(1)打patch
(2)升级Hadoop版本
(3)使用旧的DistributedCache API,经测试OK
文章来源:http://www.codelast.com/

DistributedCache的使用方法(hadoop0.20.2)

public class ProcedureJob extends Configured{ public static class MapClass extends Mapper{ ...

Hadoop 2.x的DistributedCache无法工作的问题

现象:和这个帖子描述的一样,简单说来就是,在Hadoop 2.x上,用新的DistributedCache的API,在mapper中会获取不到这个cache文件。 下面就详细地描述一下新旧API的用...
  • suejl
  • suejl
  • 2014年05月03日 05:43
  • 655

Hadoop 2.x 安装常见问题FAQ(一) NodeManager 无法启动问题解决

问题描述

hadoop 2.x安装:不能加载本地库 - 解决libc.so.6 version GLIBC_2.14 not found问题

解决libc.so.6 version GLIBC_2.14 not found问题

hadoop 2.x之HDFS HA讲解之九HDFS HA测试启动服务进程、页面监控查看和解决问题

接着上一篇博客,我们解决了namenode的格式化出现的错误问题,接下来,我们继续格式化namenode。 第二步:在[nn1]上,对其进行格式化,并启动。 这次,我们已经正常的格式化name...
  • pfnie
  • pfnie
  • 2016年09月25日 12:30
  • 388

Hadoop 2.x Administration Cookbook

  • 2017年10月28日 12:07
  • 25.69MB
  • 下载

hadoop 2.X 伪分布式配置文件

  • 2016年07月25日 23:53
  • 4KB
  • 下载

Hadoop 2.x之HDFS利用QJM实现HA高可用

【启动顺序】 1、关闭防火墙# service iptables stop2、启动三台zookeeper# zkServer.sh start3、在其中一个namenode上格式化,这个步骤只需要操...

Hadoop 2.x Administration Cookbook epub

  • 2017年09月30日 17:43
  • 24.54MB
  • 下载

Hadoop 2.x Administration Cookbook azw3

  • 2017年09月30日 17:40
  • 26.21MB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Hadoop 2.x的DistributedCache无法工作的问题
举报原因:
原因补充:

(最多只允许输入30个字)