算法的复杂度与Master定理

转载 2016年08月30日 11:07:30

http://www.gocalf.com/blog/algorithm-complexity-and-master-theorem.html

平时设计或者阅读一个算法的时候,必然会提到算法的复杂度(包括时间复杂度和空间复杂度)。比如我们说一个二分查找算法的平均时间复杂度为O(logn),快速排序可能是O(n logn)。那这里的O是什么意思?这样的表达是否准确呢?

今天来复习一下与算法复杂度相关的知识:函数渐进阶,记号O、Ω、θ和o;Master定理。

先插一句,在算法复杂度分析中,log通常表示以2为底的对数。

算法复杂度(算法复杂性)是用来衡量算法运行所需要的计算机资源(时间、空间)的量。通常我们利用渐进性态来描述算法的复杂度。

用n表示问题的规模,T(n)表示某个给定算法的复杂度。所谓渐进性态就是令n→∞时,T(n)中增长最快的那部分。严格的定义是:如果存在T˜(n)

,当n→∞时,有

T(n)T˜(n)T(n)0

就说T˜(n)

是T(n)当n→∞时的渐进性态。

比如T(n) = 2 * n ^ 2 + n log n + 3,那么显然它的渐进性态是 2 * n ^2,因为当n→∞时,后两项的增长速度要慢的多,可以忽略掉。引入渐进性态是为了简化算法复杂度的表达式,只考虑其中的主要因素。当比较两个算法复杂度的时候,如果他们的渐进复杂度的阶不相同,那只需要比较彼此的阶(忽略常数系数)就可以了。

总之,分析算法复杂度的时候,并不用严格演算出一个具体的公式,而是只需要分析当问题规模充分大的时候,复杂度在渐进意义下的阶。记号O、Ω、θ和o可以帮助我们了解函数渐进阶的大小。

假设有两个函数f(n)和g(n),都是定义在正整数集上的正函数。上述四个记号的含义分别是:

  • f(n) = O(g(n)):c>0,n0N,nn0,f(n)cg(n)
;f的阶不高于g的阶。f(n) = Ω(g(n)):c>0,n0N,nn0,f(n)cg(n);f的阶不低于g的阶。f(n) = θ(g(n)):f(n)=O(g(n))&&f(n)=Ω(g(n));f的阶等于g的阶。f(n) = o(g(n)):ε>0,n0N,nn0,f(n)/g(n)<ε
  • ;f的阶低于g的阶。

可见,记号O给出了函数f(n)在渐进意义下的上界(但不一定是最小的),相反,记号Ω给出的是下界(不一定是最大的)。如果上界与下界相同,表示f(n)和g(n)在渐进意义下是同阶的(θ),亦即复杂度一样。

列举一些常见的函数之间的渐进阶的关系:

  • logn!=Θ(nlogn)

logn2=Θ(logn)
logn2=O(n)
n=Ω(log2n)
log2n=Ω(logn)
2n=Ω(n2)
2n=O(3n)
n!=o(nn)
2n=o(n!)

有些人可能会把这几个记号跟算法的最坏、最好、平均情况复杂度混淆,它们有区别,也有一定的联系。

即使问题的规模相同,随着输入数据本身属性的不同,算法的处理时间也可能会不同。于是就有了最坏情况、最好情况和平均情况下算法复杂度的区别。它们从不同的角度反映了算法的效率,各有用处,也各有局限。

有时候也可以利用最坏情况、最好情况下算法复杂度来粗略地估计算法的性能。比如某个算法在最坏情况下时间复杂度为θ(n^ 2),最好情况下为θ(n),那这个算法的复杂度一定是O(n ^2)、Ω(n)的。也就是说n ^ 2是该算法复杂度的上界,n是其下界。

接下来看看Master定理。

有些算法在处理一个较大规模的问题时,往往会把问题拆分成几个子问题,对其中的一个或多个问题递归地处理,并在分治之前或之后进行一些预处理、汇总处理。这时候我们可以得到关于这个算法复杂度的一个递推方程,求解此方程便能得到算法的复杂度。其中很常见的一种递推方程就是这样的:

设常数a >= 1,b > 1,f(n)为函数,T(n)为非负整数,T(n) = a T(n / b) +f(n),则有:

  1. f(n)=O(nlogbaε),ε>0
,那么T(n)=Θ(nlogba)。若f(n)=Θ(nlogba),那么T(n)=Θ(nlogbalogn)。若f(n)=Ω(nlogba+ε),ε>0,并且对于某个常数c < 1和充分大的n有af(n/b)cf(n),那么T(n)=Θ(f(n))

比如常见的二分查找算法,时间复杂度的递推方程为T(n) = T(n / 2) +θ(1),显然有nlogba=n0=Θ(1)

,满足Master定理第二条,可以得到其时间复杂度为T(n)= θ(log n)。

再看一个例子,T(n) = 9 T(n / 3) + n,可知nlogba=n2

,令ε取1,显然满足Master定理第一条,可以得到T(n) = θ(n ^2)。

来一个稍微复杂一点儿例子,T(n) = 3 T(n / 4) + n logn。nlogba=O(n0.793)

,取ε = 0.2,显然当c = 3 /4时,对于充分大的n可以满足a * f(n / b) = 3 * (n / 4) * log(n / 4) <=(3 / 4) * n * log n = c * f(n),符合Master定理第三条,因此求得T(n)= θ(n log n)。

运用Master定理的时候,有一点一定要特别注意,就是第一条和第三条中的ε必须大于零。如果无法找到大于零的ε,就不能使用这两条规则。

举个例子,T(n) = 2 T(n / 2) + n log n。可知nlogba=n1

,而f(n) = n logn,显然不满足Master定理第二条。但对于第一条和第三条,也无法找到大于零的ε使得nlogn=O(n1ε)或者nlogn=Ω(n1+ε),因此不能用Master定理求解,只能寻求别的方式求解。比如可以利用递归树求出该算法的复杂度为T(n)=O(nlog2n)

。简单的说一下计算过程:

递归树的建立过程,就像是模拟算法的递推过程。树根对应的是输入的规模为n的问题,在递归处理子问题之外,还需要nlogn的处理时间。然后根据递推公式给根节点添加子节点,每个子节点对应一个子问题。这里需要两个子节点,每个节点处理规模为n/ 2的问题,分别需要(n / 2) * log(n / 2)的时间。因此在第二层一共需要n *(log n -1)的时间。第三层节点就是将第二层的两个节点继续分裂开,得到四个各需要(n /4) * log(n / 4)时间的节点,总的时间消耗为n * (log n -2)。依此类推,第k(设树根为k = 0)层有2 ^ k的节点,总的时间为n * (log n- k)。而且可以知道,这棵树总共有logn层(最后一层每个节点只处理规模为1的子问题,无须再分治)。最后将每一层消耗的时间累加起来,得到:

k=0lognn(lognk)=12nlogn(logn+1)=O(nlog2n)


Master定理

什么是Master定理 简介 Master定理也叫主定理。它提供了一种通过渐近符号表示递推关系式的方法。应用Master定理可以很简便的求解递归方程。然而,Master定理也有其不适用的地...

递归算法的时间复杂度终结篇与Master method

开篇前言:为什么写这篇文章?笔者目前在学习各种各样的算法,在这个过程中,频繁地碰到到递归思想和分治思想,惊讶于这两种的思想的伟大与奇妙的同时,经常要面对的一个问题就是,对于一个给定的递归算法或者用分治...
  • cs408
  • cs408
  • 2015年09月20日 22:33
  • 540

离散数学及其应用学习笔记——主定理(Master Theorem)的证明

先贴出两个初中数学公式 使用换根公式和对数倒数性质可以得出这样的结论:alogbn=nlogbaa^{log_bn}=n^{log_ba} 等比数列求和公式:Sn=anq−a1q−1 S_n=\f...

主定理(Master Theorem)与时间复杂度

1. 问题Karatsuba 大整数的快速乘积算法的运行时间(时间复杂度的递推关系式)为 T(n)=O(n)+4⋅T(n/2)T(n)=O(n)+4\cdot T(n/2),求其最终的时间复杂度。2....

算法设计关于递归方程T(n)=aT(n/b)+f(n)之通用解法

在算法设计中经常需要通过递归方程估计算法的时间复杂度T(n),本文针对形如T(n)=aT(n/b)+f(n)的递归方程进行讨论,以期望找出通用的递归方程的求解方式。 算法设计教材中给出的Master...
  • lsp1991
  • lsp1991
  • 2014年10月08日 10:57
  • 1882

算法的复杂度与Master定理

平时设计或者阅读一个算法的时候,必然会提到算法的复杂度(包括时间复杂度和空间复杂度)。比如我们说一个二分查找算法的平均时间复杂度为O(log n),快速排序可能是O(n log n)。那这里的O是什么...

算法概念:大O表示法/小o表示法/Ω/Θ

如果算法A需要的时间与f(n)成正比,则算法A称为f(n)阶,表示为O(f(n))。函数f(n)称为算法的增率函数(growth-rate function)。该表示法使用大写字母O来表示(ord...

算法设计关于递归方程T(n)=aT(n/b)+f(n)之通用解法

在算法设计中经常需要通过递归方程估计算法的时间复杂度T(n),本文针对形如T(n)=aT(n/b)+f(n)的递归方程进行讨论,以期望找出通用的递归方程的求解方式。 算法设计教材中给出的Master...
  • lsp1991
  • lsp1991
  • 2014年10月08日 10:57
  • 1882

Web开发中的四个域对象(范围由小到大)

简介: page(jsp有效)  request(一次请求) session(一次会话)application(当前web应用) page域指的是pageContext. request域指的是...

算法的复杂度与Master定理

  • 2013年06月13日 22:00
  • 18KB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:算法的复杂度与Master定理
举报原因:
原因补充:

(最多只允许输入30个字)