![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
Kefault
这个作者很懒,什么都没留下…
展开
-
Hadoop 自定义数据类型及输入格式
Hadoop提供了大量的数据输入类型,如Text和IntWritable. 假如我们需要自定义一个数据类型,首先要实现Writable接口,主要包含两个函数readFields和write.如果需要把新的数据类型作为Map函数的key输出的话,在shuffle阶段会有一个排序的过程,需要对key进行比较,那么这里就推荐实现WritableComparable接口,它比Writable接口多一原创 2016-11-10 17:16:35 · 527 阅读 · 0 评论 -
Hadoop reduce阶段遍历Iterable的问题及解决方案
之前有童鞋问到了这样一个问题:为什么我在 reduce 阶段遍历了一次 Iterable 之后,再次遍历的时候,数据都没了呢?可能有童鞋想当然的回答:Iterable 只能单向遍历一次,就这样简单的原因。。。事实果真如此吗? 还是用代码说话: package com.test; import java.util.ArrayList; import java.util.Iterato原创 2016-11-10 17:39:41 · 1329 阅读 · 0 评论