MapReduce读取数据异常(NumberFormatException,ArrayIndexOutOfBoundsException)

最近实验有一个需求,分析50G左右的大文本数据,提取出指定字段,序列化对象。我想用MapReduce来进行读取,遂用MapReduce进行统计计算。首先建立bean类主要是记录Item的内部属性,如下所示:

package tju.hadoop.mapreduce;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;

import org.apache.hadoop.io.WritableComparable;

/**
 * 招投标类;
 * */
public class ItemBean implements WritableComparable<ItemBean>{
	//定义项目名字;
	public String name;
	//招标单位:
	public String unit;
	//投标单位
	public String agency;
	//发布时间
	public String time;
	//预算
	public String budget;
	//实际花费
	public String amount;
	//事件识别码
	public String identifier;
	
	public String getIdentifier() {
		return identifier;
	}
	public void setIdentifier(String identifier) {
		this.identifier = identifier;
	}
	public ItemBean(String identifier,String name,String unit,String agency,String time,String budget,String amount) {
		this.name = name;
		this.unit = unit;
		this.agency = agency;
		this.time = time;
		this.budget = budget;
		this.amount = amount;
		this.identifier = identifier;
	}
	public ItemBean() {}

	public String getName() {
		return name;
	}

	public void setName(String name) {
		this.name = name;
	}

	public String getUnit() {
		return unit;
	}

	public void setUnit(String unit) {
		this.unit = unit;
	}

	public String get
  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值