软考考点之如何估算一个算法的时间复杂度和空间复杂度

一个算法是由控制结构（顺序、分支和循环3种）和原操作（指固有数据类型的操作）构成的，则算法时间取决于两者的综合效果。为了便于比较同一个问题的不同算法，通常的做法是，从算法中选取一种对于所研究的问题（或算法类型）来说是基本操作的原操作，以该基本操作的重复执行的次数作为算法的时间量度。
1）时间频度 ‘

一个算法中的语句执行次数称为语句频度或时间频度。记为T(n)。

2）时间复杂度

   我们应该尽可能选用多项式阶O(nk)的算法，而不希望用指数阶的算法。

      常见的算法时间复杂度由小到大依次为：Ο(1)＜Ο(log2n)＜Ο(n)＜Ο(nlog2n)＜Ο(n2)＜Ο(n3)＜…＜Ο(2n)＜Ο(n!)

3）求解算法的时间复杂度的具体步骤是：

　　⑴ 找出算法中的基本语句；

　　算法中执行次数最多的那条语句就是基本语句，通常是最内层循环的循环体。

　　⑵ 计算基本语句的执行次数的数量级；

　　只需计算基本语句执行次数的数量级，这就意味着只要保证基本语句执行次数的函数中的最高次幂正确即可，可以忽略所有低次幂和最高次幂的系数。这样能够简化算法分析，并且使注意力集中在最重要的一点上：增长率。

　　⑶ 用大Ο记号表示算法的时间性能。

　　将基本语句执行次数的数量级放入大Ο记号中。
　Ο(1)表示基本语句的执行次数是一个常数，一般来说，只要算法中不存在循环语句，其时间复杂度就是Ο(1)。其中Ο(log2n)、Ο(n)、 Ο(nlog2n)、Ο(n2)和Ο(n3)称为多项式时间，而Ο(2n)和Ο(n!)称为指数时间。计算机科学家普遍认为前者（即多项式时间复杂度的算法）是有效算法，把这类问题称为P（Polynomial,多项式）类问题，而把后者（即指数时间复杂度的算法）称为NP（Non-Deterministic Polynomial, 非确定多项式）问题。

4）在计算算法时间复杂度时有以下几个简单的程序分析法则:

(1).对于一些简单的输入输出语句或赋值语句,近似认为需要O(1)时间

(2).对于顺序结构,需要依次执行一系列语句所用的时间可采用大O下"求和法则"

求和法则:是指若算法的2个部分时间复杂度分别为 T1(n)=O(f(n))和 T2(n)=O(g(n)),则 T1(n)+T2(n)=O(max(f(n), g(n)))

特别地,若T1(m)=O(f(m)), T2(n)=O(g(n)),则 T1(m)+T2(n)=O(f(m) + g(n))

(3).对于选择结构,如if语句,它的主要时间耗费是在执行then字句或else字句所用的时间,需注意的是检验条件也需要O(1)时间

(4).对于循环结构,循环语句的运行时间主要体现在多次迭代中执行循环体以及检验循环条件的时间耗费,一般可用大O下"乘法法则"

乘法法则: 是指若算法的2个部分时间复杂度分别为 T1(n)=O(f(n))和 T2(n)=O(g(n)),则 T1*T2=O(f(n)*g(n))

(5).对于复杂的算法,可以将它分成几个容易估算的部分,然后利用求和法则和乘法法则技术整个算法的时间复杂度

另外还有以下2个运算法则:(1) 若g(n)=O(f(n)),则O(f(n))+ O(g(n))= O(f(n))；(2) O(Cf(n)) = O(f(n)),其中C是一个正常数
 

 

如：O(log2n)

     i=1;     ①
    while (i<=n)
       i=i*2; ②
解： 语句1的频度是1, 
          设语句2的频度是f(n),   则：2^f(n)<=n;f(n)<=log2n    
          取最大值f(n)=log2n,
          T(n)=O(log2n )

（5）常用的算法的时间复杂度和空间复杂度

一个经验规则：其中c是一个常量，如果一个算法的复杂度为c 、 log2n 、n 、 n*log2n ,那么这个算法时间效率比较高 ，如果是2n ,3n ,n!，那么稍微大一些的n就会令这个算法不能动了，居于中间的几个则差强人意。

 

另外一个重要的知识点：如何估算递归算法的时间复杂度问题？？？？？？

在算法的分析中，当一个算法中包含递归调用时，其时间复杂度的分析会转化成为一个递归方程的求解。而对递归方程的求解，方法多种多样，不一而足。本文主要介绍目前主流的方法：代入法，迭代法，公式法，母函数法，差分方程法

 

　　【代入法】代入法首先要对这个问题的时间复杂度做出预测，然后将预测带入原来的递归方程，如果没有出现矛盾，则是可能的解，最后用数学归纳法证明。

　　【举   例】我们有如下的递归问题：T(n)=4T(n/2)+O(n)，我们首先预测时间复杂度为O(n2),不妨设T(n)=kn2（其中k为常数），将该结果带入方程中可得：左=kn2，右=4k(n/2)2+O(n)=kn2+O(n),由于n2的阶高于n的阶，因而左右两边是相等的，接下来用数学归纳法进行验证即可。

 

【迭代法】迭代法就是迭代的展开方程的右边，直到没有可以迭代的项为止，这时通过对右边的和进行估算来估计方程的解。比较适用于分治问题的求解，为方便讨论起见，给出其递归方程的一般形式：

　　【举   例】下面我们以一个简单的例子来说明：T(n)=2T(n/2)+n2,迭代过程如下：

　　容易知道，直到n/2^(i+1)=1时，递归过程结束，这时我们计算如下：

　　到这里我们知道该算法的时间复杂度为O(n2)，上面的计算中，我们可以直接使用无穷等比数列的公式，不用考虑项数i的约束，实际上这两种方法计算的结果是完全等价的，有兴趣的同学可以自行验证。

 

【公式法】这个方法针对形如：T(n) = aT(n/b) + f(n)的递归方程。这种递归方程是分治法的时间复杂性所满足的递归关系，即一个规模为n的问题被分成规模均为n/b的a个子问题，递归地求解这a个子问题，然后通过对这a个子问题的解的综合，得到原问题的解。这种方法是对于分治问题最好的解法，我们先给出如下的公式：

　　公式记忆：我们实际上是比较n^logba和f(n)的阶，如果他们不等，那么T(n)取他们中的较大者，如果他们的阶相等，那么我们就将他们的任意一个乘以logn就可以了。按照这个公式，我们可以计算【迭代法】中提到的例子：O(f(n))=O(n2),容易计算另外一个的阶是O(n),他们不等，所以取较大的阶O(n2)。太简单了，不是吗？

　　需要注意：上面的公式并不包含所有的情况，比如第一种和第二种情况之间并不包含下面这种情况：f(n)是小于前者，但是并不是多项式的小于前者。同样后两种的情况也并不包含所有的情况。为了好理解与运用的情况下，笔者将公式表述成如上的情况，但是并不是很严谨，关于该公式的严密讨论，请看这里。但是公式的不包含的情况，我们很少很少碰到，上面的公式适用范围很广泛的。

　　特别地，对于我们经常碰到的，当f(n)=0时，我们有：

 

【母函数法】母函数是用于对应于一个无穷序列的幂级数。这里我们解决的递归问题是形如：T(n)=c1T(n-1)+c2T(n-2)+c3T(n-3)+...+ckT(n-k)+f(n)。为说明问题简便起见，我们选择斐波那契数列的时间复杂度作为例子进行讨论。

　　【举  例】斐波那契数列递归公式：T(n)=T(n-1)+T(n-2)。这里我们假设F(n)为第n项的运算量。则容易得到：F(n)=F(n-1)+F(n-2),其中F(1)=F(2)=1.我们构造如下的母函数：G(x)=F(1)x+F(2)x2+F(3)x3+......,我们可以推导如下：

　　上面的方法计算相对来说是比较简单的，关键在于对于母函数的理解，刚开始的时候可能不是很好理解，对于母函数可以参考这里和维基百科这里。

 

【差分方程法】可以将某些递归方程看成差分方程，通过解差分方程的方法来解递归方程，然后对解作出渐近阶估计。这里我们只考虑最长常见的递归形式，形如：T(n)=c1T(n-1)+c2T(n-2)+c3T(n-3)+...+ckT(n-k)+f(n)，其中c1,c2,...ck为常数且不等于0；我们对该方程的求解如下：

　　对应上面的齐次方程的特征方程为：

　　如果解得t=r是该特征方程的m重根，则这m个解的形式为：{rn     n*rn      n2rn   ...    nm-1rn},其余的关于复数解的形式和普通的线性方程组的形式类似，不再赘述。接下来，我们要求解该方程的对应非齐次方程组的通解，这里我们针对该方程的特殊形式，不加证明地给出如下的通解形式：

则和线性代数中的解一样，原方程的解等于齐次方程组的通解+特解，即：

　　最后由初始条件确定a(i)的值即可。

　　为了帮助理解，我们举两个例子看看，就明白是怎么回事了。

　　【举 例1】递归方程如下：

(1)写出对应齐次方程的特征方程：

得到基础解系为：{t1n,  t2n}

(2)计算特解，对于本题，直接观察得特解为：-8

(3)得到原方程解的形式为：T(n)=a0t1n+a1t2n-8

(4)代入n=0，n=1的情况，得到a0,a1，最后可得:

　　可以看到该方程形式和上面讨论过的斐波那契数列只差一个常数8，因而两者的时间复杂度是相同的。有兴趣的同学可以按照这个方法再次计算斐波那契数列的时间复杂度验证一下。

　　【举  例2】递归方程如下：

（1）计算对应齐次方程的基础解析：

特征方程为：C(t)=t^2-4t-4=0,得到一个2重根t=2.因而其基础解为：{2n      n*2n}

（2）由于f(n)=n*2n，对应上面表格的最后一种情况，得到特解形式为：T(n)=n2(p0+p1n)2n代入原递归方程可得：p0=1/2,p1=1/6

（3）原方程解的形式为：T(n)=a0*2n+a1*n*2n+n2(1/2+n/6)2n,代入T(0),T(1)得：a0=a1=0

（4）综上：T(n)=n2(1/2+n/6)2n

因而时间复杂度为：O(n32n)