mapreduce编程模型你知道多少？

上次新霸哥给大家介绍了一些hadoop的相关知识，发现大家对hadoop有了一定的了解，但是还有很多的朋友对mapreduce很模糊，下面新霸哥将带你共同学习mapreduce编程模型。


　　mapreduce编程模型可以利用大量的商用服务器构成大规模集群来解决处理千兆级别的数据量问题。mapreduce编程模型有两个比较独立的步骤，分别是map和reduce

　　map:比较常见的就是数据初始读取和转换的步骤，同时在这个步骤中，每个独立的输入数据记录都进行并行处理。


　　Reduce: 一个数据整合或者加和的步骤，值得注意的是，相关联的所有数据记录要放在一个计算节点来处理。


　　新霸哥注意到了Hadoop系统中MapReduce的核心思路是：将输入的数据在逻辑上分割成多个数据块，其中每个逻辑数据块被Map任务单独地处理。data块处理后所得结果会被划分到不同的数据集，且将data集排序完成。每个经过排序的数据集传输到Reduce任务进行处理。


　　当在处理大数据的时候，我们可以尝试使用MapReduce来解决这个计数问题


　　假设有一个多台服务器组成的集群供我们使用，假设该集群的计算节点数量为五十,每台服务其上都会运行非常多的Map处理，假设有10000个file，这样就会有10000个Map处理这些file，在给定的时间内，我们假设有多少个CPU核，就会有多少个Map在同时进行。集群的服务器是十六核的，所以可以有十六个Map同事运行，这样每台服务器负责运行三十万个Map处理，整个数据处理过程中，每个计算节点都会运行十个Mapper，共3万个迭代（每次迭代过程可以运行十六个Mapper，一个CPU运行一个Mapper）


　　每个Mapper处理一个file，抽取file的单词，输出<{WORD},1>键值对


　　假设我们只有一个Reduce，这个假设不是必须的，只是默认的设定，实际应用的场景中我们根据需求常常需要改变。


　　Reduce接收<{WORD},[1,…,1]>这样的键值对


　　Reduce每处理一个一样的单词，就将该单词的计数加一，最终得到单词的总数，然后按照以下键值对格式输出：<{WORD},{单词总数}>


　　最后排序输出结果。


　　上面就是一个非常完整的例子，如果你在学习中还遇到过一些其他的问题欢迎和新霸哥一起交流学习。