- 博客(3)
- 收藏
- 关注
RSS订阅转载 MapReduce的输入输出过程数据类型对应过程
话说用hadoop MapReduce编程有一阵子了，但是关于Mapper, Combiner, Reducer的输入输出类型居然花了我一整天。 我本以为Combiner的输入与Mapper的输出一致，Combiner的输出与Reducer的输入一致就可以了，就像图1： 图1 假想 我的程序Mapper输出是<Text, DoubleWritable>; Com...
2014-05-12 11:09:00
176
转载 MapReduce_去重抽取mdn_imsi
import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; imp...
2014-05-11 20:28:00
66
转载 MapReduce入门实例
Hadoop集群（第9期）_MapReduce初级案例 1、数据去重 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。 1.1 实例描述 对数据文件中的数据进行去重。数据文件中的每行都是一个数据。 样例输入如...
2014-05-11 15:01:00
95
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人