![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
MapReduce
文章平均质量分 82
nankangren123
宠辱不惊,闲看庭前花开花落去留无意,漫观天外云展云舒
展开
-
MapReduce求海量数据中的最大值
利用MapReduce求解海量数据文件中的最大值 思路:利用Mapper类中的cleanup()函数,因为cleanup()函数是在所有的map()完成之后才执行的。 [java] view plaincopy package jtlyuan.csdn; import java.io.IOException; i转载 2014-03-28 14:31:30 · 779 阅读 · 0 评论 -
MapReduce实现单表关联
例如给出表child-parent表,要求输出grandchildren-grandparent表 给出: child parent Tom Lucy Tom Jack Jone Lucy Jone Jack Lucy Mary Lucy Ben Jack Alice Jack Jesse 输出: Tom Alice转载 2014-03-28 12:21:26 · 573 阅读 · 0 评论 -
MapReduce实现大矩阵乘法
引言 何为大矩阵?Excel、SPSS,甚至SAS处理不了或者处理起来非常困难,需要设计巧妙的分布式方法才能高效解决基本运算(如转置、加法、乘法、求逆)的矩阵,我们认为其可被称为大矩阵。这意味着此种矩阵的维度至少是百万级的、经常是千万级的、有时是亿万级的。举个形象的栗子。至2012年12月底,新浪微博注册用户数超5亿,日活跃用户4629万[1],如果我们要探索这4000多万用户可以分成哪些类转载 2014-03-25 15:23:10 · 646 阅读 · 0 评论 -
MapReduce Design Patterns 简记
Google MapReduce 论文提到的单词计数的例子相当于这一编程实践的"hello world"l ,MapReduce 还可以解决什么问题?又有什么最佳实践和陷阱? O’Reilly公司近些年出版了不少非常精彩的小册子,在技术类图书的内容质量和时效性上做了一个很好的平衡."MapReduce Design Patterns"就是其中一员.这本书结构相当清晰,基本上思转载 2014-03-22 20:22:33 · 443 阅读 · 0 评论