解决MapReduce函数中访问缓存文件失败的问题

最近在imooc中初步的学习hadoop,这是一个学习中解决问题的博客,可能还存在问题,欢迎大家指点

代码:

@Override
	protected void setup(Context context) throws IOException, InterruptedException {
		super.setup(context);
		//通过输入流将全局缓存变量中的 右侧矩阵 读入List<String>中
		Configuration conf = context.getConfiguration();
	    
		FileSystem fs = FileSystem.get(conf);
		
		FSDataInputStream in = fs.open(new Path("/matrix/step1_output/part-r-00000"));
               //FileReader fr = new FileReader("#matrix");这是之前使用的读取缓存文件的方式
	
		BufferedReader br = new BufferedReader(new InputStreamReader(in));
			
		//每一行的格式是: 行 tab 列_值,列_值,列_值,列_值
		String line = null;
		while((line = br.readLine())!=null) {
			cacheList.add(line);
		}
		in.close();
		br.close();

	}

之前是使用别名读取缓存文件,一直报错,提示找不到文件,故而就放弃了使用读取缓存文件的形式,直接访问文件系统取直接读取文件,更加直接。但是感觉缓存文件还是需要学习一下的。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值