本文为博主原创,允许转载,但请声明原文地址:http://www.coselding.cn/article/2016/05/31/MapReduce 1底层实现原理/
1、 云计算框架:
MapReduce:适合离线计算
Storm:流式计算框架,实时计算
Spark:内存计算框架,快速得到结果的情形
2、 MapReduce理念:移动计算而不移动数据!
3、 MapReduce流程:
数据来源:HDFS
数据去处:HDFS
(1) Split部分:先把HDFS取出的数据分割成多块split;
默认split算法: