MapReduce&Yarn自学心得

MapReduce&Yarn自学心得

1.MapReduce是什么

分为两点：
1.MapReduce是一个分布式运算计算框架，是用户开发基于hadoop数据分析的应用的核心框架。
2.MapReduce核心功能是将用户编写的业务逻辑和自带默认组件整合成一个完整的分布式运算程序，并将它运行在hadoop集群上。

2.MapReduce的优缺点

2.1优点

2.1.1 MapReduce易于编程
只要简单实现一些接口就可以完成一个分布式程序，这个分布式程序可以分布到大量的廉价计算机上运行，跟写一个简单的串行程序是一样的，因为这个原因MapReduce程序变得非常流行。
2.1.2良好的扩展性
当前计算机计算资源不能满足需求时，可以简单扩展机器数量来增强计算能力。
2.1.3 高容错性
MapReduce设计初衷是能够部署在廉价的pc机器上，这就要求它有很高的容错性，比如其中一台机器挂了，这台机器上的任务可以快速地转移到另一台机器上的节点上运行，不至于这个任务失败，而且这个过程不需要人参与，它完全是由hadoop内部完成的。

2.1.4 MapReduce适合PB以上的海量数据的离线处理
可以实现上千台服务器集群并发工作，提供数据处理能力

2.2缺点

2.2.1 不擅长实时运算
无法像MapReduce一样毫秒级或者秒级内返回结果
2.2.2不擅长流式的运算
流式计算的输入数据是动态的，MapReduce本身设计决定了只能计算静态数据，输入的数据源必须是静态的，不能动态变化。

2.3MapReduce的核心思想

2.3.1MapTask如何工作？
MapReduce运算程序一般分为两个阶段：
以单词统计为例子，MapTask一次读取一行单词数据，然后把每行单词通过空格或者逗号分割成一个个的单词，每个单词作为key，单词个数1作为value生成key value键值对，输出一个个（k，v）键值对给ReduceTask继续处理。Map阶段，MapTask完全并发运行，互不干扰。
2.3.2ReduceTask如何工作？
ReduceTask接收到（k，v）键值对后，会根据k值的单词，统计，汇总，合并v，将合并后的（k，v）数据生成到输出结果文件当中。
Reduce阶段并发ReduceTask，完全互不相干，他们的输入数据依赖于上一个任务的MapTask的并发实例的输出。
2.3.3MapTask如何控制分区，排序？
如果设计任务有两个ReduceTask，MapTask会根据单词首字母情况，将单词按照字典顺序，分成两个分区，溢写到磁盘当中。
2.3.4MapTask和ReduceTask之间如何衔接？
MapTask处理完成后将数据溢写到磁盘当中，ReduceTask从磁盘中获取MapTask运行结果的数据。

2.4MapTask进程有几个，是什么？

2.4.1.MrAppMaster
MrAppMaster负责整个程序的过程调度和状态协调
2.4.2MapTask
负责Map阶段整个数据处理流程
2.4.3ReduceTask
负责整个Reduce阶段数据处理流程

3.MapReduce框架原理

3.1.1切片与MapTask并行度决定机制
（1）问题引出
MapTask任务并行度影响Map阶段任务处理并发速度，进而影响job的处理速度。
（2）一个Job的Map阶段并行度，由提交job时的切片数决定，默认情况下切片大小=blocksize，每一个切片分配给一个MapTask并行实例处理，切片时不考虑数据整体，而是对单独的文件进行切片。
3.2.2CombineTextInputFormat切片机制
框架默认的TextInputFormat切片机制是对任务按照文件来切片，不管文件多小，都会将该切片分配到一个MapTask中，如果有大量小文件，就会产生大量的MapTask，处理效率极其低下，CombineTextInputFormat用于过多小文件场景，它会将多个小文件按照逻辑划分到一个切片中，这样众多的小文件就会由一个MapTask处理了。
setMaxInputSplitSize按照小文件的实际大小确认具体的值。
切片过程：
（a）