Hadoop
everyong
这个作者很懒,什么都没留下…
展开
-
MapReduce初级案例
1、数据去重 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。 1.1 实例描述 对数据文件中的数据进行去重。数据文件中的每行都是一个数据。 样例输入如下所示: 1)file1:转载 2015-07-07 10:10:15 · 363 阅读 · 0 评论 -
MapReduce的模式、算法和用例
英文原文:MapReduce Patterns, Algorithms, and Use Cases,编译:juliashine 在这篇文章里总结了几种网上或者论文中常见的MapReduce模式和算法,并系统化的解释了这些技术的不同之处。所有描述性的文字和代码都使用了标准hadoop的MapReduce模型,包括Mappers, Reduces, Combiners, Partitioner转载 2015-07-06 20:28:57 · 428 阅读 · 0 评论