MapReduce编程案例系列篇

转自https://blog.csdn.net/zhongqi2513/article/details/78321664

由于本人最开始接触大数据工作，主要以写MapReduce程序为主，虽然现在有流行的言论称MapReduce这种运行很慢的分布式计算编程框架将要被各种内存计算框架取代。但是MapRedcue也会吸收很多流行的内存计算的各种优点，我相信，将来，MapReduce绝对不会沦落到要淘汰的地步。甚至会后来居上。

 

在此，本人总结一篇关于MapReduce编程的各种典型应用场景编程案例，便于大家查阅学习。

 

1、MapReduce--1--入门程序WordCount

2、MapReduce--2--MapReduce全局计数器

3、MapReduce--3--常用计数器详解

4、MapReduce--4--Combiner做MapTask局部合并

5、MapReduce--5--单词去重WordDistinctMR

6、MapReduce--6--求共同好友

7、MapReduce--7--求共同好友--改进版JobControl

8、MapReduce--8--求互为好友的好友对

9、MapReduce--9--求变动版本

10、未完待续.......

 

在此先给大家奉上三张关于MapReduce的架构图：

 

第一张：

 

 

第二张：

 

 

第三张：

 

第四张：