《数据算法 hadoop spark大数据处理技巧》笔记 前言

MapReduce：是一个软件框架，采用并行、分布式方式处理大数据集，目标是实现可伸缩性，重点是编写两个函数：map和reduce

map()：过滤和聚集数据。主节点得到数据，将数据分成小块，分布到若干从节点处理。从节点对每个数据块应用同样的转换函数，将结果传回主节点

reduce()：根据map()生成的键完成归约、分组、总结。主节点根据唯一的键-值对将接收到的结果进行洗牌、聚集，传回从节点，应用另一类转换函数组合这些值

映射器==>合并器==>归约器

不共享范式：这个很好理解，原始input被分成若干键值对到每个映射器，每个映射器之间是彼此独立的，可以并行执行；所有映射器完成工作以后，每个归约器处理的是某个键对应的若干值，这个过程也是彼此独立的，可以并行执行

不适用MapReduce的场景：

1.处理图，因为是迭代的，无法分割

2.一个值的计算依赖之前的值，比如fibonacci数列

3.需要同步来处理共享数据

关于MapReduce的几个概念：

1.MapReduce不是编程语言，是一个框架，支持c++、java等开发

2.MapReduce不能取代关系型数据库，其输入是纯文本文件，hadoop框架会按照行来映射

3.设计用于批处理，不能期望在几秒钟之内得到结果，很慢，实测简单的input需要几秒，大量数据需要若干分钟

Spark和MapReduce的区别：MapReduce适用于适合单趟计算的场景，即先map然后reduce，对于多趟算法效率很低，Spark不限于先映射再归约，可以是一个映射、归约、洗牌构成的有向无环图DAG。