在hadoop 0.20.2版本中,各位有没有想过为什么wordcount实例 , map输出的value不用 NullWritalbe ? 实际上value 其实就起到了一个占位的作用。于是我自作聪明地改写了程序,把map的输出改成了NullWritable,结果发现在shuffle的过程中,并没有达到相同的key合并的效果。
具体原因有待进一步查明,愿把这点儿经验和大家一起分享。
在hadoop 0.20.2版本中,各位有没有想过为什么wordcount实例 , map输出的value不用 NullWritalbe ? 实际上value 其实就起到了一个占位的作用。于是我自作聪明地改写了程序,把map的输出改成了NullWritable,结果发现在shuffle的过程中,并没有达到相同的key合并的效果。
具体原因有待进一步查明,愿把这点儿经验和大家一起分享。