数学之美:各个击破算法和Google云计算的基础

云计算的一个关键性问题就是如何把一个非常大的问题,自动分解到许多计算能力不是很强大的计算机上。Google针对此问题提出一个工具MapReduce,其基础就是算法中常见的分治算法。

假设要对一个长度为N的数组进行排序,如果采用两两比较的方式(冒泡排序),复杂度为O(N2),不仅笨还慢,如果是一个非常大的数组,一台计算机也无法完成。用分治算法,将这个大数组分解成两个小数组,再分别对一半进行排序,待两个小数组排序完后,将他们从头到尾合并,得到原来数组的排序结果。小数组大小只有原数组一半,只需要比较1/4次数即可。同理还可以将小数组继续拆分,直到数组中只剩两个元素,从而大大缩小整个排序时间。由原来的O(N2)简化到O(NlogN)。这个算法在每个子任务完成后都需要合并,归并排序算法由此得名。

这就是MapReduce的基本原理,将一个大任务拆分成许多小任务,并且完成小任务的计算,这个过程叫Map;然后将小任务的计算结果合并起来,这个过程称为Reduce。如何将一个大任务拆分成小任务,保证各个机器的负载均衡,如何合并返回值就是MapReduce在工程上所做的事。

 

至此对数学之美书籍上的知识摘录完毕,接下来就是将自己在实际遇到的问题和所学逐渐的合并到这些文章中,使得文章内容更为具体了。这就得慢慢来。。。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值