Hadoop中 使用自定义的Writable,作为value在map和reduce传递参数。

Hadoop中 使用自定义的Writable,作为value在map和reduce传递参数。

似乎自始至终,传递参数时只有一个Writable存在。这个Writable采用readFields和write改变自身的值,然后传给reduce。因此在重载这两个函数的时候,一定要将上一个Writable的所有东西全部清除,在进行readFields

比如:

public class NodeInforWritable implements WritableComparable<NodeInforWritable> {
	
	public int nodeID=-1;
	public int[] ajacentNodeList=null;
	public ArrayList<Integer> epsAjacentNodeList=null;
	@Override
	public void readFields(DataInput in) throws IOException
	{	
		//in.readChar();
		nodeID=in.readInt();
		
		int ajacentnodecount=in.readInt();
		
		ajacentNodeList=new int[ajacentnodecount];
		
		for(int i=0;i<ajacentnodecount;i++)
		{
			ajacentNodeList[i]=in.readInt();
		}
		
		int epsneighborcount=in.readInt();
		
		epsAjacentNodeList=new ArrayList<Integer>();
		
		if(epsneighborcount!=0)
		{
			
			for(int i=0;i<epsneighborcount;i++)
			{
				epsAjacentNodeList.add(in.readInt());
			}
		}
	}
}
该类中的epsAjacentNodeList和ajacentNodeList都必须赋一个新的值,否则的话,之后在reduce中会出现很多的莫名奇妙的自定义Writable。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值