吊打面试官之mapreduce原理

1.有一个待处理的大数据，被划分为大小相同的数据块(如64MB),及与此相应的用户作业程序
2.系统中有一个负责调度的主节点(Master),以及数据Map和Reduce工作节点(Worker)
3.用户作业程序提交给主节点
4.主节点为作业程序寻找和配备可用的Map节点，并将程序传送
5.主节点也为作业程序寻找和配备可用的Reduce节点，并将程序传送给Reduce节点
6.主节点启动每个Map节点执行程序，每个map节点尽可能读取本地或本机架的数据进行
计算
7.每个Map节点处理读取的数据块,并做一些数据整理工作( combining ,sorting等)并将中间结果存放在本地；同时通知主节点计算任务完成并告知中间结果数据存储位置
8.主节点等所有Map节点计算完成后，开始启动Reduce节点运行；Reduce节点从主节点所掌握的中间结果数据位置信息，远程读取这些数据
9.Reduce节点计算结果汇总输出到一个结果文件即获得整个处理结果