大数据｜MapReduce模型 | Hadoop MapReduce的基本工作原理

前文回顾：HDFS分布式文件系统

目录

📚对付大数据处理：分而治之

🐇大数据的并行化计算

🐇大数据任务划分和并行计算模型

📚构建抽象模型：Map和Reduce

🐇关键思想

🥕Map

🥕Reduce

🐇抽象描述

🥕Map：(k1;v1) → [(k2;v2)]

🥕Reduce：(k2;[v2]) → [(k3;v3)]

🐇并行计算模型

📚上升到构架：自动并行化并隐藏低层细节

🐇MapReduce的最大亮点

🐇MapReduce提供的主要功能

🥕任务调度

🥕数据/代码互定位

🥕出错处理

🥕分布式数据存储与文件管理

🥕合并处理

📚MapReduce的主要设计思想和特征

🐇向“外”横向扩展，而非向“上”纵向扩展

🐇失效被认为是常态

🐇把处理向数据迁移

🐇顺序处理数据、避免随机访问数据

🐇为应用开发者隐藏系统层细节（最大亮点）

🐇平滑无缝的可扩展性

📚Hadoop MapReduce的基本工作原理🌟

🐇Hadoop MapReduce基本框架与工作过程

🐇Hadoop MapReduce主要组件

🥕文件输入格式InputFormat

🥕输入数据分片InputSplits

🥕数据记录读入RecordReader

🥕处理数据Mapper

🥕合并操作Combiner

🥕洗牌Partitioner & shuffle

🥕整理Reducer

🥕文件输出格式OutputFormat

🐇程序执行时的容错处理与计算性能优化

---

📚对付大数据处理：分而治之

🐇大数据的并行化计算

不可分拆的计算任务或相互间有依赖关系的数据无法进行并行计算。

一个大数据若可以分为具有同样计算过程的数据块，并且这些数据块之间不存在数据依赖关系，则提高处理速度的最好办法就是并行计算。