MapReduce中使用BytesWritable类型时要注意

 转载地址：http://blog.csdn.net/xcytec/article/details/20909151

在MR程序中出现错误，数据读取的内容和原文件不一致，经过定位是因为使用BytesWritable类型导致的。

原因见：http://dongxicheng.org/mapreduce-nextgen/hadoop-streaming-process-binary-data/

“BytesWritable，使用这个类型非常容易犯错误。当你把一堆byte[]数据保存到BytesWritable后，通过BytesWritable.getBytes()再读到的数据并不一定是原数据，可能变长了很多，这是因为BytesWritable采用了自动内存增长算法，你保存的数据长度为size时，它可能将数据保存到了长度为capacity（capacity>size）的buffer中，这时候，你通过BytesWritable.getBytes()得到的数据最后一些字符是多余的，如果里面保存的是protocolbuffer序列化后的字符串，则无法反序列化，这时候可以使用BytesWritable.setCapacity (value.getSize())将后面多余空间剔除掉。”

个人建议是不使用这个类型，因为有时候因为这个错误导致的错误非常隐蔽。因为我已经料想到这里有坑，在读出内容时进行特殊处理

Stringcontent = new String(value.getBytes(), 0, value.getLength());

即使这样，依然掉到坑里。

不过上面所述的setCapacity我倒没有试过。