Hadoop(七) MapReduce介绍

MapReduce是一种分布式运算程序的编程框架，是用户开发“基于hadoop数据分析应用”的核心框架。

核心功能是用户编写的业务逻辑代码和系统自带的组件组合在一起，构成一个分布式运算程序，并发运行在Hadoop集群上。

它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归约）函数，用来保证所有映射的键值对中的每一个共享相同的键组

MapReduce是Doug Cutting根据Google的论文<The Google MapReduce>来仿照实现的

MapReduce会将整个计算过程拆分为2个阶段：Map阶段和Reduce阶段。在Map阶段，用户需要考虑对数据进行规整和映射；在Reduce阶段，用户需要考虑对数据进行最后的规约

MapReduce优缺点

　　MapReduce易于编程，简单实现它的接口，就可以完成一个分布式程序。并且分布式程序可以分布在大量廉价的机器上运行。这使得用户在编写分布式应用程序时跟编写简单的串行应用程序相同。

　　良好的扩展性：如果当前集群的性能不够，那么MapReduce能够轻易的通过增加节点数量的方式来提高集群性能

　　高容错性：MapReduce设计就是为了程序能够在廉价的机器上运行，当一台机器出现故障时他会将计算任务移交给其他的节点来完成，这个过程不需要人工参与由hadoop内部来完成。

　　适合PB级别海量数据的离线处理：主要是可以实现上千台以上的服务器集群并发工作，提供数据处理能力。

MapReduce缺点
　　不擅长实时计算

　　不擅长流式计算