MapReduce并行计算

MapReduce并行计算

一、背景

MapReduce并行计算是由google公司研究出的一种面向大规模数据处理的并行计算模型和方法，hadoop中的分布式并行计算也是使用的MapReduce。

二、功能

如果需要对大量数据统计，或者需要对大量数据进行计算。直接使用遍历方法则会比较耗时。
如果直接开线程则需要处理好数据同步方面。防止多个线程对同一条数据进行操作。
如果使用多台服务器集群处理，统计。则部署方面比较麻烦，需要人工将数据拷贝至多台服务器上。
MapReduce本质上就是多台服务器集群处理，但是如何拆分、如何复制，如何整合都是框架定义好的。我们只需要定义任务，其他的交给MapReduce即可。

使用

查看MapReduce代码发现其中使用了大量的委托事件、抽象以及虚函数。而同种功能已经封装好了代码，只需要根据代码稍微调整即可使用。后续边使用边学习，才能更好的掌握MapReduce。掌握了MapReduce才能对其他类的大数据处理性能慢的问题进行优化。