MapReduce实例——求平均值,所得结果无法写出到文件的错误原因及解决方案

1.错误原因

  mapreduce按行读取文本,map需要在原有基础上增加一个控制语句,使得读到空行时不执行write操作,否则reduce不接受,也无法输出到新路径。

2.解决方案

原错误代码

public void map(Object key,Text value,Context context) throws IOException, InterruptedException
{  
    String line=value.toString(); 
    System.out.println(line);  
    String arr[]=line.split("\t");  
    newKey.set(arr[0]);  
    int click=Integer.parseInt(arr[1]);  
    context.write(newKey, new IntWritable(click));  
} 

更正后的代码

public void map(Object key, Text value, Context context)  throws IOException, InterruptedException 
{
    String line = value.toString();
    System.out.println(line);
    if(!("".equals(line)))//增加控制语句,使得line为”“时能够停止。
    {
    String arr[] = line.split("\t");
    newKey.set(arr[0]+" ");//把key增加“ “一个空格字符,使得结果之间有间距
    int click = Integer.parseInt(arr[1]);
    context.write(newKey, new IntWritable(click));        
    }
}

 

转载于:https://www.cnblogs.com/iCheny/p/9985806.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值