算法学习 - 函数的增长 - 算法运行时间的分析

如何描述一个算法的运行时间

输入规模与运行时间

通常算法需要的运行时间与输入规模同步增长. 在介绍如何描述算法运行时间之前，下面先对输入规模($\mathbf{i}\mathbf{n}\mathbf{p}\mathbf{u}\mathbf{t}\mathbf{s}\mathbf{i}\mathbf{z}\mathbf{e}$)和运行时间($\mathbf{r}\mathbf{u}\mathbf{n}\mathbf{n}\mathbf{i}\mathbf{n}\mathbf{g}\mathbf{t}\mathbf{i}\mathbf{m}\mathbf{e}$)做出更为严谨的定义:

输入规模: 输入规模取决于讨论的问题本身. 对于不同的问题，输入规模的量度不同. 比如排序问题，输入规模的量度指的是输入中的项数. 而如果算法输入的是一个图，那么输入规模需要用顶点数和边数来描述.

运行时间: 一个算法对于一个特定输入的运行时间指的是被执行的基本操作数或步数，与其对应执行时间乘积的总和.

运行时间函数

上面已经提到，通常算法需要的运行时间会与其输入规模同步增长. 所以常常把一个程序的运行时间描述为其输入规模的函数. 对于具有$n$个值的输入，使用$T(n)$表示运行时间. 由于运行时间函数要分析到每一条代码行的代价与时间，表示往往十分复杂. 所以不适合作为算法运行时间的评判标准.

渐近运行时间

虽然有时我们可以精确地确定一个算法的运行时间，但其分析过程可能极其复杂，而只是得到了多余的精度. 所以通常并不值得这么做. 当输入规模足够大时，精确运行时间中的倍增常量(系数)和低阶项会被输入规模自身的影响所支配. 而我们真正感兴趣的是运行时间的增长率和增长量级. 因而在输入规模足够大的时候，我们往往只研究算法的渐近($\mathbf{a}\mathbf{s}\mathbf{y}\mathbf{m}\mathbf{p}\mathbf{t}\mathbf{o}\mathbf{t}\mathbf{i}\mathbf{c}$)效率. 即我们只关心在输入规模无限增加时的极限中，算法的运行时间是如何随之增大而增加的.

• 所谓渐近分析，是一种描述函数在极限附近的行为的方法.

通常渐近更有效的某个算法将会是一种最好的选择(除了对于一些非常小的输入规模).

时间复杂度

时间复杂度($\mathbf{T}\mathbf{i}\mathbf{m}\mathbf{e}\mathbf{C}\mathbf{o}\mathbf{m}\mathbf{p}\mathbf{l}\mathbf{e}\mathbf{x}\mathbf{i}\mathbf{t}\mathbf{y}$)是分析算法运行时间使用最为广泛的概念. 通常被作为评判一个算法好坏的一个指标. 它定性地描述了一个算法的运行时间，本质上就是使用渐近运行时间来分析并用渐近记号表示.

渐近记号

描述算法的渐近运行时间我们需要使用渐近记号($\mathbf{a}\mathbf{s}\mathbf{y}\mathbf{m}\mathbf{p}\mathbf{t}\mathbf{o}\mathbf{t}\mathbf{i}\mathbf{c}\mathbf{n}\mathbf{o}\mathbf{t}\mathbf{a}\mathbf{t}\mathbf{i}\mathbf{o}\mathbf{n}$).
渐近记号也适用于刻画算法的某个其他方面，例如空间、数量等.
下面对五种渐近符号进行一一介绍.

Θ记号 (Θ-notation)

定义

对于一个给定的函数$g(n)$，用$\Theta (g(n))$来表示以下的函数集合:
Θ ( g ( n ) ) = { f ( n ) : 存 在 正 常 数   c 1 , c 2 , n 0 ， 使 得 当   n ⩾ n 0 时 ， 总 有   0 ⩽ c 1 g ( n ) ⩽ f ( n ) ⩽ c 2 g ( n ) } . Θ(g(n)) = \{f(n): 存在正常数\,c_1, c_2, n_0，使得当\,n \geqslant n_0时，总有\,0\leqslant c_1g(n) \leqslant f(n)\leqslant c_2g(n)\}. Θ(g(n))={f(n):存在正常数c1​,c2​,n0​，使得当n⩾n0​时，总有0⩽c1​g(n)⩽f(n)⩽c2​g(n)}.

解释说明

$\Theta (g(n))$实质上是一个函数集合. 一个特定算法的运行时间若用$\Theta (g(n))$表示，则意味着其运行时间函数$f(n)\in \Theta (g(n))$. 对于足够大(大于$n_0$)的输入规模$n$，必然存在两个正常数$c_1,c_2$，使得$f(n)$夹在$c_{1}g(n)$和$c_{2}g(n)$两函数中间. 称$g(n)$为$f(n)$的一个渐近紧确界($\mathbf{a}\mathbf{s}\mathbf{y}\mathbf{m}\mathbf{p}\mathbf{t}\mathbf{o}\mathbf{t}\mathbf{i}\mathbf{c}\mathbf{a}\mathbf{l}\mathbf{l}\mathbf{y}\mathbf{t}\mathbf{i}\mathbf{g}\mathbf{h}\mathbf{t}\mathbf{b}\mathbf{o}\mathbf{u}\mathbf{n}\mathbf{d}$). 可理解为$f(n)$在一个常数因子范围内与$g(n)$相等.

• 通常将$f(n)\in \Theta (g(n))$记为$f(n)=\Theta (g(n))$.
• 定义要求对于任何$f(n)\in \Theta (g(n))$都必须是渐近非负的(无论$n$有多大，$f(n)$都是非负的). 之后提到的渐近符号也满足这个要求.
• 一般来说，对于任意多项式$p(n)=\sum _{n\to \infty }^d{a}_i{n}^i$，其中$a_i$为常量且$a_d>0$，有 $p(n)=\Theta (n^d)$. 即扔掉低阶项并忽略常量(包括系数). 因为任意常量都是一个0阶多项式，所以可以将任意常量函数表示成$\Theta (n^0)$或$\Theta (1)$(这是一种对$\Theta$记号的活用).

O记号 (O-notation)

定义

对于一个给定的函数$g(n)$，用$O(g(n))$来表示以下的函数集合:
O ( g ( n ) ) = { f ( n ) : 存 在 正 常 数   c   和   n 0 ， 使 得 当   n ⩾ n 0 时 ， 总 有   0 ⩽ f ( n ) ⩽ c g ( n ) } . O(g(n)) = \{f(n): 存在正常数\,c\,和\,n_0，使得当\,n \geqslant n_0时，总有\,0 \leqslant f(n)\leqslant cg(n)\}. O(g(n))={f(n):存在正常数c和n0​，使得当n⩾n0​时，总有0⩽f(n)⩽cg(n)}.

解释说明

若$f(n)\in O(g(n))$，对于足够大的输入规模$n$，必然存在正常数$c$，使得$f(n)$总在$cg(n)$下方. $\Theta$记号给出了一个函数的渐近紧确的上界和下界，而使用$O$记号，我们只给出了一个函数的渐近上界($\mathbf{a}\mathbf{s}\mathbf{y}\mathbf{m}\mathbf{p}\mathbf{t}\mathbf{o}\mathbf{t}\mathbf{i}\mathbf{c}\mathbf{a}\mathbf{l}\mathbf{l}\mathbf{y}\mathbf{u}\mathbf{p}\mathbf{p}\mathbf{e}\mathbf{r}\mathbf{b}\mathbf{o}\mathbf{u}\mathbf{n}\mathbf{d}$).

• 可以看出$f(n)=O(g(n))$蕴含$f(n)=\Theta (g(n))$. 也就是说$\Theta$记号是比$O$记号更强的概念($\Theta (g(n))\subseteq O(g(n))$).
• 既然$O$记号描述的是一个函数的上界，那么它就一般用来限制算法最坏情况(worst-case)的运行时间(但不能代表运行时间，因实际运行时间是变化的，依赖于$n$的规模).
• 当我们称一个算法的运行时间为$O(g(n))$时，意指存在一个属于$O(g(n))$的函数$f(n)$，无论选择怎样的规模为$n$的输入(足够大)，其运行时间的上界都是$f(n)$. 即算法最坏情况运行时间是$O(g(n))$

Ω记号 (Ω-notation)

定义

对于一个给定的函数$g(n)$，用$O(g(n))$来表示以下的函数集合:
Ω ( g ( n ) ) = { f ( n ) : 存 在 正 常 数   c   和   n 0 ， 使 得 当   n ⩾ n 0 时 ， 总 有   0 ⩽ c g ( n ) ⩽ f ( n ) } . \Omega(g(n)) = \{f(n): 存在正常数\,c\,和\,n_0，使得当\,n \geqslant n_0时，总有\,0 \leqslant cg(n)\leqslant f(n)\}. Ω(g(n))={f(n):存在正常数c和n0​，使得当n⩾n0​时，总有0⩽cg(n)⩽f(n)}.

解释说明

和$O$记号相对应，使用$\Omega$记号，我们只给出了一个函数的渐近下界($\mathbf{a}\mathbf{s}\mathbf{y}\mathbf{m}\mathbf{p}\mathbf{t}\mathbf{o}\mathbf{t}\mathbf{i}\mathbf{c}\mathbf{a}\mathbf{l}\mathbf{l}\mathbf{y}\mathbf{l}\mathbf{o}\mathbf{w}\mathbf{e}\mathbf{r}\mathbf{b}\mathbf{o}\mathbf{u}\mathbf{n}\mathbf{d}$).

• 可以看出$f(n)=\Omega (g(n))$蕴含$f(n)=\Theta (g(n))$. 也就是说$\Theta$记号是比$\Omega$记号更强的概念($\Theta (g(n))\subseteq \Omega (g(n))$).
• $\Omega$记号描述函数的一个上界，用来限制算法最好情况(best-case)的运行时间(不能代表运行时间，因实际运行时间是变化的，依赖于$n$的规模).
• 当称一个算法的运行时间为$\Omega (g(n))$时，意味着无论输入规模$n$选多少(足够大)，运行时间至少是一个常数时间$g(n)$.

三种大写渐近记号对比

图例对比

特别说明

上文定义中$O$记号和$\Omega$记号只要求渐近上界和渐近下界(而没有要求是多么紧确的界)，因此可能会出现$n=O(n^2)$这样的式子. 而$\Theta$记号必须是渐近紧确界.

重要定理

对于任意两个函数$g(n)$和$f(n)$，当且仅当$f(n)=O(g(n))$且$f(n)=\Omega (g(n))$时，有$f(n)=\Theta (g(n))$.

• 该定理根据三种记号的定义是显而易见的.

等式中渐近符号的含义

当渐近符号出现在等式右边

形如: $n=O(n^2)$、$2n^2+3n+1=2n^2+\Theta (n)$这样的式子，我们是这样解释的:
比如 $2n^2+3n+1=2n^2+\Theta (n)$的含义就是 $2n^2+3n+1=2n^2+f(n)$，$f(n)$是属于集合$\Theta (n)$的一个渐近函数. 在这种情况下，$f(n)=3n+1$，我们将它视作一个我们并不关注名称的匿名函数$\Theta (n)$. 通过这样的表示方式，可以帮助我们消除等式中一些无关紧要的细节和混乱.

当渐近符号出现在等式左边

形如: $2n^2+\Theta (n)=\Theta (n^2)$，我们使用以下规则来解释这种等式：无论怎样选择等号左边的匿名函数，总有一种方法选择等号右边的匿名函数使得等式成立.

o记号 (o-notation)

定义

o ( g ( n ) ) = { f ( n ) : 对 任 意 正 常 数 &ThinSpace; c &ThinSpace; ， 存 在 常 数 &ThinSpace; n 0 ， 使 得 当 &ThinSpace; n ⩾ n 0 时 ， 总 有 &ThinSpace; 0 ⩽ f ( n ) &lt; c g ( n ) } . o(g(n)) = \{f(n): 对任意正常数\,c\,，存在常数\,n_0，使得当\,n \geqslant n_0时，总有\,0 \leqslant f(n)&lt; cg(n)\}. o(g(n))={f(n):对任意正常数c，存在常数n0​，使得当n⩾n0​时，总有0⩽f(n)<cg(n)}.

解释说明

这里与$O(g(n))$对比，前面有解释$O$记号提供的渐近上界可能是也可能不是渐近紧确的，比如$2n^2=O(n^2)$是渐近紧确的，而$2n=O(n^2)$却不是. 而$o(g(n))$只能表示一个非渐近紧确的上界. 比如: $2n^2=o(n^2)$，而$2n^2̸=o(n^2)$.

• 对于$f(n)=o(g(n))$，有$\underset{n\to \infty }{\lim }\frac{f(x)}{g(x)}=0$. 称$f(n)$渐近小于$g(n)$.

ω记号 (ω-notation)

定义

ω ( g ( n ) ) = { f ( n ) : 对 任 意 正 常 数 &ThinSpace; c &ThinSpace; ， 存 在 常 数 &ThinSpace; n 0 ， 使 得 当 &ThinSpace; n ⩾ n 0 时 ， 总 有 &ThinSpace; 0 ⩽ c g ( n ) &lt; f ( n ) } . \omega(g(n)) = \{f(n): 对任意正常数\,c\,，存在常数\,n_0，使得当\,n \geqslant n_0时，总有\,0 \leqslant cg(n)&lt;f(n)\}. ω(g(n))={f(n):对任意正常数c，存在常数n0​，使得当n⩾n0​时，总有0⩽cg(n)<f(n)}.

解释说明

$\omega$记号和$\Omega$记号的关系类似于$o$记号和$O$记号的关系. $\omega$记号表示一个非渐近紧确的下界.

• 对于$f(n)=\omega (g(n))$，有$\underset{n\to \infty }{\lim }\frac{f(x)}{g(x)}=\infty$.称$f(n)$渐近大于$g(n)$.

五种渐近符号的关系与性质

关系

性质

下面假定$f(n)$和$g(n)$渐近为正.

传递性

$f(n)=\Theta (g(n))且g(n)=\Theta (h(n))\to f(n)=\Theta (h(n))$
$f(n)=O(g(n))且g(n)=O(h(n))\to f(n)=O(h(n))$
$f(n)=\Omega (g(n))且g(n)=\Omega (h(n))\to f(n)=\Omega (h(n))$
$f(n)=\omega (g(n))且g(n)=\omega (h(n))\to f(n)=\omega (h(n))$
$f(n)=o(g(n))且g(n)=o(h(n))\to f(n)=o(h(n))$

自反性

$f(n)=\Theta (f(n))$
$f(n)=O(f(n))$
$f(n)=\Omega (f(n))$
$\ast$ 注意小写渐近记号不满足自反性(一个非渐紧确界不可能是它自己).

对称性

$f(n)=\Theta (g(n))\leftrightarrow g(n)=\Theta (f(n))$

转置对称性

$f(n)=O(g(n))\leftrightarrow g(n)=\Omega (f(n))$
$f(n)=o(g(n))\leftrightarrow g(n)=\omega (f(n))$

渐近比较类比实数比较

渐近比较	实数比较
$f(n)=O(g(n))$	$a⩽b$
$f(n)=\Omega (g(n))$	$a⩾b$
$f(n)=\Theta (g(n))$	$a=b$
$f(n)=o(g(n))$	$a<b$
$f(n)=\omega (g(n))$	$a>b$