【算法】算法分析基础

前言

衡量算法对计算机资源的使用共有两方面

1. 计算资源（时间）
   算法采用的数学模型
   算法设计的策略
   问题的规模
   计算方法：
   （1）m种元运算；
   （2）每种元运算执行的时间：$t_1,t_2,\cdots ,t_m$
   （3）每种元运算执行的次数：$e_1,e_2,\cdots ,e_m$
   （4）元运算与问题规模的关系：$\forall e_i(n),1\le i\le m$
   若用T(n)表示时间复杂度，则有
   $T(n)={\sum }_{i=1}^m{t}_i\times e_i(n)$
2. 存储资源（空间）
   输入数据所占空间
   辅助变量所占空间
   注：此两方面对应内容为算法分析时需要考虑的，其他方面暂不考虑，如算法代码所占用空间。

数学内容

函数渐进的界

概念

设$T(n)$是算法$A$的时间复杂性函数，$n$是问题规模,$n\ge 0$且$n\in Z$，一般有$n\to \infty$时，$T(n)\to \infty$。如果存在$T^{\prime }(n)$，使得当$n\to \infty$时，有$\frac{T(n)-T^{\prime }(n)}{T(n)}\to 0$，那么，$T^{\prime }(n)$是$T(n)$当$n\to \infty$时的渐进态或称$T^{\prime }(n)$为算法$A$当$T(n)\to \infty$的渐进复杂性。

几个定义

设f和g是定义域为自然数集N上的函数。

1. 若$\exists c>0$和$n_0>0$，使得$\forall n\ge n_0$有$0\le f(n)\le cg(n)$成立，则称$f(n)$的渐进上界是$g(n)$，记作：$f(n)=O(g(n))$。
2. 若$\exists c>0$和$n_0>0$，使得$\forall n\ge n_0$有$0\le cg(n)\le f(n)$成立，则称$f(n)$的渐进下界是$g(n)$，记作：$f(n)=\Omega (g(n))$。
3. 若$\forall c>0,\exists n_0\ge 0$，使得当$n\ge n_0$时有$0\le f(n)\le cg(n)$成立，则称函数$f(n)$充分大时，比$g(n)$低阶，记作：$f(n)=o(g(n))$。
4. 若$\forall c>0,\exists n_0\ge 0$，使得当$n\ge n_0$时有$0\le cg(n)\le f(n)$成立，则称函数$f(n)$比$g(n)$高阶，记作：$f(n)=\omega (g(n))$。
5. 若$f(n)=O(g(n))$且$f(n)=\Omega (g(n))$时，则记$f(n)=\Theta (g(n))$，则称$g(n)$是$f(n)$的渐进的紧的界。f(n)与g(n)同阶。

定理

定理1 传递性 设f、g、h是定义域为自然数集合
如果$f=O(g)$且$g=O(h)$，那么$f=O(h)$;
如果$f=\Omega (g)$且$g=\Omega (h)$，那么$f=\Omega (h)$;
如果$f=\Theta (g)$且$g=\Theta (h)$，那么$f=\Theta (h)$;
定理2 假设f和g是定义域为自然数集合的函数，若对于某个其他的函数h，有$f=O(h)$和$g=O(h)$，那么$f+g=O(h)$。
多项式函数 设k为常数，$f(n)=a_0+a_{1}n+a_2{n}^2+\cdots +a_k{n}^k$称为k次多项式，其中，$a_k\ne 0$。显然有$f(n)=\Omega (nk)$，再根据定理2的推广结果不难证明$f(n)=O(n^k)$，所以有$f(n)=\Theta (n^k)$。
对数函数当 b^x = n，有 \log_{b}n = x。对数函数有如下性质：
$$a^{{\log }_{b}n}=n^{{\log }_{b}a}$$
对于不同底$a$与$b$，${\log }_{a}n=\Theta ({\log }_{b}n)$
定理3 对于每一个$b>1$和每一个$a>0$，有${\log }_{b}n=o(n^a)$。
定理4 对每个$a>1$和每个$k>0$，有$n^k=o(a^n)$。

利用极限求函数渐进的界

常用公式

1. 洛必达法则
   $$\underset{n\to \infty }{\lim }\frac{f(n)}{g(n)}=\underset{n\to \infty }{\lim }\frac{f^{\prime }(n)}{g^{\prime }(n)}$$
2. 斯特林公式
   $$n!=\sqrt{2\pi n}(\frac{n}{e}{)}^n(1+\Theta (\frac{1}{n}))$$

定理5 设$f$和$g$是定义域为自然数集合$N$上的非负函数。
如果${\lim }_{n\to \infty }\frac{f(n)}{g(n)}$存在，并且等于某个常数$c>0$，那么$f(n)=\Theta (g(n))$。
如果${\lim }_{n\to \infty }\frac{f(n)}{g(n)}$=0，那么$f(n)=o(g(n))$。
如果${\lim }_{n\to \infty }\frac{f(n)}{g(n)}$=+$\infty$，那么$f(n)=\omega (g(n))$。
阶乘函数 关于阶乘函数有$n!=o(n^n),n!=\omega (2^n),log(n!)=\Theta (n\log n)$成立。(斯特林公式可证明)

有用的求和级数及推导方法

两个基本法则

$$\sum _{k=1}^{n}c{a}_k=c\sum _{k=1}^n{a}_k$$
$$\sum _{k=1}^n(a_k\pm b_k)=\sum _{k=1}^n{a}_k\pm \sum _{k=1}^n{b}_k$$

最常见的数列

等差数列{$a_k$}
$$\sum _{k=1}^n{a}_k=\frac{n(a_1+a_n)}{2}$$
等比数列{$a{q}^k$}
$$\sum _{k=0}^{n}a{q}^k=\frac{a(1-q^{n+1})}{1-q},\sum _{k=0}^n{x}^k=\frac{a(1-x^{n+1})}{1-x}$$
调和级数{$\frac{1}{k}$}
$$\sum _{k=1}^n\frac{1}{k}=\ln n+O(1)$$

基本效率类型

图源：ppt

算法分析实例

非递归形式算法分析

遵循下列步骤

1. 决定用那些参数表示输入规模；
2. 找出算法的核心操作，它通常位于算法的最内层循环中；
3. 检查核心操作的执行次数是否只依赖于输入规模。如果它还依赖于一些其他的特性，则可能需要对最差效率，平均效率以及最优效率分别进行研究。
4. 以式子（2-1）的思想为核心，建立一个算法基本操作执行次数求和表达式；
5. 利用求和运算标准公式和法则来确定一个操作次数的闭合公式，或者至少确定它的增长次数。

例子

分析下列代码的执行效率

核心操作：通过加法和乘法运算求$C[i,j]$;
运算次数：${\sum }_{k=0}^{n-1}1$
$$T(n)=\sum _{i=0}^{n-1}\sum _{j=0}^{n-1}\sum _{k=0}^{n-1}1=n^3=\Theta (n^3)$$

递归形式算法分析

遵循下列步骤

1. 决定用那些参数表示输入规模；
2. 找出算法的核心操作，它通常是递推公式；
3. 检查一下，对于相同规模的不同输入，核心操作的执行次数是否可能不同。如果有这种可能，则必须对最差效率、平均效率以及最优效率做单独研究
4. 对于算法核心操作的执行次数，建立一个递推关系以及相应的边界条件；
5. 解这个递推式，或者至少确定它的解的增长次数。

例子

计算模型
$$\{\begin{array}{lrc}f(n)=1& n=0& \\ f(n)=nf(n-1)& n>0& \end{array}$$
算法分析
$T(n)=1+T(n-1)=\cdots =n=\Theta (n)$

主定理

设$a\ge q,b\ge 1$为常数，$f(n)$为函数，$T(n)$为非负整数，且$T(n)=aT(\frac{n}{b})+f(n)$，则有以下结果：

1. 若$f(n)=O(n^{({\log }_{b}a)-ϵ})$，$ϵ>0$，那么$T(n)=\Theta (n^{{\log }_{b}a})$
2. 若$f(n)=\Theta (n^{{\log }_{b}a})$， 那么$T(n)=\Theta (n^{{\log }_{b}a}\log n)$
3. 若$f(n)=\Omega (n^{({\log }_{b}a)+ϵ})$，$ϵ>0$，且对于常数$c<1$和所有充分大的$n$有$af(\frac{n}{b})\le cf(n)$，那么$T(n)=\Theta (f(n))$

在第一种情况与第三种情况的条件中需要存在一个大于0 的数ε ，注意$n^{{\log }_{b}a-\epsilon }$或者$n^{{\log }_{b}a+\epsilon }$或者$n^{{\log }_{b}a}$是不一样的。当ε 不存在时，可以考虑用递归树来处理（设出一个k = log(n)）。

参考资料：张小东老师ppt