超级会员免费看
本文详细介绍了Hadoop MapReduce的优缺点，包括适合大批量离线处理、高容错性和高扩展性，同时也指出其在实时计算和流式计算的不足。此外，还阐述了MapReduce的核心思想、核心组件，如分区、排序、组合组件，并深入探讨了框架底层的分片、Shuffle机制和数据输出。最后提到了MapReduce的高级应用和数据压缩策略。
MapReduce是分布式运算程序的编程框架，其核心功能：将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群框架上
Tips：为什么用MapReduce？
海量数据在单机上处理会因为硬件资源限制而无法胜任，如果将单机版程序扩展到集群来分布式运行，则将极大的增加程序的复杂性和开发难度。引入MapReduce框架后，开发人员可以将绝大部分工作集中到业务逻辑的开发上，将分布式计算中的复杂性交给框架处理
一、优缺点
1.优点：
a.适合大批量数据(PB级以上)的离线处理：上千台服务器集群并发工作能力，提供数据运算；
b.高容错性：因为MapReduce的设计初衷就是运行在廉价的机器上，这就需要MapReduce框架具有很高的容错性。其容错性是通过Hadoop内部完成，当运行过程中某个节点宕机了&#
订阅专栏 解锁全文
扫一扫
4384
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
