- 博客(2)
- 资源 (4)
- 收藏
- 关注
RSS订阅转载 setPartitionerClass、setOutputKeyComparatorClass 与 setOutputValueGroupingComparator
Partitioner这个类是用来决定map输出时，什么样的key输出到同一个reduce节点（调用setPartitionerClass方法），但不保证到同一个reduce节点的key会在同一个group（即不一定在reduce的同一个iter迭代里）。注：map端当输出buffer到达内存的一定比例时，将内存中的数据写到磁盘，此时会按key进行排序，然后才写入磁盘。 由于Part
2015-07-17 14:59:02
308
转载 MapReduce的排序和二次排序
自己学习排序和二次排序的知识整理如下。 1.Hadoop的序列化格式介绍:Writable 2.Hadoop的key排序逻辑 3.全排序 4.如何自定义自己的Writable类型 5.如何实现二次排序 1.Hadoop的序列化格式介绍:Writable 要了解和编写MR实现排序必须要知道的第一个知识点就是Writable相关的接口和类，这些是HADOOP自己的序列
2015-07-17 14:51:56
205
NetBeans权威指南 绝对完整版 part1
NetBeans权威指南 完整清晰扫描版，绝对全，绝对不是2、3章的。因为附件限制60MB，所以只能分成两部分。 只有完整版才会这么大。
我自己花钱买的，现与大家分享！
2012-06-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人