setup缓存本地和hdfs文件

从本地读取文件,缓存到map集合中

static  Map<String, String> question =new HashMap<String, String>();
BufferedReader bf = new BufferedReader(new FileReader("文件名"))

				while((line=bf.readLine())!=null) {
					if( line.split("\\001").length<3) {return;}
					String[] split = line.split("\\001");
					question.put(split[0],split[2]+"\\001"+split[3]);
				
				}

缓存hdfs文件

			Configuration conf = context.getConfiguration();
		    
			FileSystem fs=null;
			
			try {
				fs=FileSystem.get(new URI("hdfs://slm001:9000"),conf);
			} catch (URISyntaxException e) {
				// TODO Auto-generated catch block
				e.printStackTrace();
			}
			FSDataInputStream in = fs.open(new  
			Path("hdfs://slm001:9000/user/kk/question/part-m-00000"));
			
   			BufferedReader br = new BufferedReader(new InputStreamReader(in));
			
			String line = null;
			while((line = br.readLine())!=null) {
				if( line.split("\\001").length<3) {return;}
				String[] split = line.split("\\001");
			}
			in.close();
			br.close();
			
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值