- 博客(2)
- 收藏
- 关注
转载 mapreduce wordcount 理解
话说mapreduce学了一段时间,总有一个问题影响到我,其实特别简单,如:wordcount统计个数,在看代码时总是能看懂,但是真正的逻辑反而一直不明比,比如map端时怎么处理,reduce时又是怎么处理的,现在明白了。 原理是这样的,map端时读取每一行数据,并把每行数据中的一个字符统计...
2015-01-08 15:26:00 73
转载 MapReduce原理剖析
1、Map-Reduce的逻辑过程 假设我们需要处理一批有关天气的数据,其格式如下: 按照ASCII码存储,每行一条记录 每一行字符从0开始计数,第15个到第18个字符为年 第25个到第29个字符为温度,其中第25位是符号+/- 0067011...
2015-01-08 14:35:00 49
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人