MapReduce重点知识总结

MapReduce定义

mapred是一个分布式运算程序的编程框架，它的核心功能是将用户编写的业务逻辑代码和
自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。

MapReduce优缺点

优点：
1）mapreduce易于编程（简单的实现一些接口，就可以完成一个分布式程序）
2）良好的扩展性（计算资源不能满足时，可以通过简单的增加机器来扩展它的计算能力）
3）高容错性（有多个副本）
4）适合PB级以上海量数据的离线处理（可以实现上千台服务器集群并发工作，提供数据处理能力）
缺点：
1）不擅长实时计算（mapreduce无法像mysql一样，在毫秒或者秒级内返回结果）
2) 不擅长流式计算（流式计算的输入数据时动态的，而mapreduce的输入数据集是静态的）
3）不擅长线性计算（即前一个程序的输出作为后一个程序的输入，这样会造成大量的磁盘IO，导致性能非常低下）

MapReduce核心思想

MapReduce运算程序一般需要2个阶段，即Map阶段和Reduce阶段。
map阶段根据输入数据大小分为多个MapTask任务，又会根据任务进行分区，
reduce阶段对多个分区的任务进行汇总，然后输出。
map和reduce并发实例完全并行运行，互不相干。

Hadoop序列化

序列化：把内存中的对象通过字节流的方式写入到磁盘，做到持久化。
反序列化：把磁盘中的字节流读出转换成对象。

数据切片与MapTask并行度

数据切片大小最好设置为一个数据块的大小，如果切片过大或者过小，MapTask就会从不同的节点中去读取数据，导致多次IO，而如果把切片大小设置为数据块大小，可大大减少IO次数，提高性能。

JOB提交流程源码