MapReduce
leojames007
走别人的路,让别人无路可走,穿别人的鞋,让别人找去吧!
展开
-
Map Reduce 和反向索引
前几天面试遇到一个问题,一个分布式系统的问题,把一个1TB的文件,分为100份,之后统计文件名和对应的热点词出现的频率。 这个问题显然用 Map Reudce 算法来解决,之后又问了如果,这些东西存到一个数据库中,如果出现索引过度集中情况怎么办,因为集群操作的话必然要进行数据交原创 2011-09-20 11:22:24 · 904 阅读 · 0 评论 -
Map—Reduce 入门教程
1、Map-Reduce的逻辑过程 假设我们需要处理一批有关天气的数据,其格式如下: 按照ASCII码存储,每行一条记录 每一行字符从0开始计数,第15个到第18个字符为年 第25个到第29个字符为温度,其中第25位是符号+/- 006701199099转载 2011-09-27 09:41:05 · 4087 阅读 · 0 评论