MapReduce是一种适用于离线计算的框架，与Storm的实时计算不同。其核心理念是移动计算而不是移动数据，通过HDFS上的数据作为输入进行处理。Map阶段将文件切分为split，并使用map线程执行；Shuffle阶段则负责数据的分区、排序和溢写到磁盘。Reduce阶段可能面临数据倾斜问题，需要定制分区策略。默认排序按字典序进行，而Shuffle过程包括内存缓冲区溢写和排序操作。MapReduce采用主从结构，由JobTracker协调TaskTracker执行任务。
MapReduce适合离线计算
Storm适合流式计算，实时计算
移动计算：把写好的计算程序分别拷贝一份到不同的机器上
HDFS上存储的数据，作为MapReduce的输入
每一个片段split，由一个map线程执行 （如何把hdfs上的文件切分成split，按照怎样的规则去切分）
例子 word count
shuffling阶段是mapper和reducer中间步骤
可以吧mapper的输出按照某种key，value重新切分和组合成n份，把key值符合某种范围的输出送到特定的ereducer去处理，可以简化reducer过程
分区、排序、溢写到磁盘，由于map输出的结果存在内存中，内存有溢值，超过这个值，就写到磁盘中
默认分区partition方式是：哈希摸运算，
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
最低0.47元/天 解锁文章
279
