Google MapReduce是一种编程模型，主要解决大规模数据处理的问题，如网页抓取、日志分析和索引倒排等。通过Map和Reduce两个函数接口，它实现了在普通PC集群上的并行处理，让用户能简单地处理复杂任务，而无需关注并行、容错等底层细节。Map函数将输入数据拆分成键值对，Reduce函数则负责合并和总计Map的输出。这种模型因其实现高效的大规模数据处理而在Google成功应用。
搞架构的人，Google的架构论文是必看的，但好像大家都不愿意去啃英文论文。故把自己的读书笔记，加入自己的思考，分享给大家。
第二篇，Google MapReduce架构启示（上）。
很多时候，定义清楚问题比解决问题更难。
什么是MapReduce？
它不是一个产品，而是一种解决问题的思路，它有多个工程实现，Google在论文中也给出了它自己的工程架构实现。
MapReduce这个编程模型解决什么问题？
能够用分治法解决的问题，例如：
网页抓取
日志处理
索引倒排
查询请求汇总
…
画外音：能够发现，现实中有许多基于分治的应用需求。
为什么是Google，发明了这个模型？
Google网页抓取，分析，倒排的多个应用场景，当时的技术体系，解决不了Google大数据量高并发量的需求，Google被迫进行技术创新，思考出了这个模型。
画外音：谁痛谁想办法。
为什么MapRe
最低0.47元/天 解锁文章
扫一扫
2161
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
