算法复杂度

---

1. 算法复杂度记号

$\Theta$ 记号：紧渐进界记号

$\Theta (g(n))$= { f ( n ) : 存 在 正 常 量 c 1 , c 2 和 n 0 , 使 得 对 所 有 n ≥ n 0 有 ： c 1 g ( n ) ≤ f ( n ) ≤ c 2 g ( n ) } \{ f(n) : 存在正常量c_1, c_2和n_0,使得对所有n\geq n_0有：c_1g(n)\leq f(n)\leq c_2g(n)\} {f(n):存在正常量c1​,c2​和n0​,使得对所有n≥n0​有：c1​g(n)≤f(n)≤c2​g(n)}

若存在正常量 $c_1,c_2$ 使得对于足够大的 $n$ ，函数 $f(n)$ 能够 “ 夹入 ” $c_{1}g(n)$ 与 $c_{2}g(n)$ 之间，则 $f(n)$ 属于集合 $\Theta (g(n))$

上界记号：

• $O$ 记号：渐近上界记号

​ $O(g(n))$= { f ( n ) : 存 在 正 常 量 c 和 n 0 , 使 得 对 所 有 n ≥ n 0 有 ： 0 ≤ f ( n ) ≤ c g ( n ) } \{ f(n) : 存在正常量c和n_0,使得对所有n\geq n_0有：0\leq f(n)\leq cg(n)\} {f(n):存在正常量c和n0​,使得对所有n≥n0​有：0≤f(n)≤cg(n)}

• $o$ 记号：非渐进紧确上界记号

​ $o(g(n))$= { f ( n ) : 对 任 意 正 常 量 c > 0 ， 存 在 常 量 n 0 > 0 , 使 得 对 所 有 n ≥ n 0 有 ： 0 ≤ f ( n ) < c g ( n ) } \{ f(n) : 对任意正常量 c>0，存在常量n_0>0,使得对所有n\geq n_0有：0\leq f(n)< cg(n)\} {f(n):对任意正常量c>0，存在常量n0​>0,使得对所有n≥n0​有：0≤f(n)<cg(n)}

• 区别：在 $f(n)=O(g(n))$ 中，$0\le f(n)\le cg(n)$ 对某个常量 $c>0$ 成立；

  ​ 在 $f(n)=o(g(n))$ 中，$0\le f(n)<cg(n)$ 对于所有常量 $c>0$ 成立.

下界记号：

• $\Omega$ 记号：渐进下界记号

​ $\Omega (g(n))$= { f ( n ) : 存 在 正 常 量 c 和 n 0 , 使 得 对 所 有 n ≥ n 0 有 ： 0 ≤ c g ( n ) ≤ f ( n ) } \{ f(n) : 存在正常量c和n_0,使得对所有n\geq n_0有：0\leq cg(n)\leq f(n) \} {f(n):存在正常量c和n0​,使得对所有n≥n0​有：0≤cg(n)≤f(n)}

• $\omega$ 记号：非渐进紧确下界记号

  $\omega (g(n))$= { f ( n ) : 对 任 意 正 常 量 c > 0 ， 存 在 常 量 n 0 > 0 , 使 得 对 所 有 n ≥ n 0 有 ： 0 ≤ c g ( n ) < f ( n ) } \{ f(n) : 对任意正常量 c>0，存在常量n_0>0,使得对所有n\geq n_0有：0\leq cg(n)< f(n)\} {f(n):对任意正常量c>0，存在常量n0​>0,使得对所有n≥n0​有：0≤cg(n)<f(n)}

$\Theta ,O,\Omega$三种记号的图例如下所示：

<img

定理1：对任意两个函数 $f(n),g(n)$ ，当且仅当 $f(n)=O(g(n)),f(n)=\Omega (g(n))$ 时，有 $f(n)=\Theta (g(n))$

2. 主定理计算T(n)=aT(n/b)+f(n)的时间复杂度

主定理：

令 $a\ge 1$ 和 $b>1$ 是常数，$f(n)$ 是一个函数，$T(n)$ 是定义在非负整数上的递归式：
$$T(n)=aT(n/b)+f(n)$$
其中我们将 $n/b$ 解释为 $\lfloor n/b\rfloor$ 或 $\lceil n/b\rceil$ 。那么 $T(n)$ 有如下渐进界：

1. 若对某个常数 $ϵ>0$ ，有 $f(n)=O(n^{lo{g}_{b}a-ϵ})$ ，则 $T(n)=\Theta (n^{lo{g}_{b}a})$
2. 若 $f(n)=\Theta (n^{lo{g}_{b}a})$ , 则 $T(n)=\Theta (n^{lo{g}_{b}a}logn)$
3. 若对某个常数 $ϵ>0$ 有 $f(n)=\Omega (n^{lo{g}_{b}a+ϵ})$ 且对某个常数 $c<1$ 和所有足够大的 $n$ 有 $af(n/b)\le cf(n)$，则 $T(n)=\Theta (f(n))$

直观理解

将 $f(n)$ 与 $n^{lo{g}_b^a}$ 的阶进行比较（两个函数较大者决定了递归式的解）：

• 若 $n^{lo{g}_{b}a}$ 更大 ，则解为 $T(n)=\Theta (n^{lo{g}_{b}a})$ ——如上述情况1
• 若 $\Theta (n^{lo{g}_{b}a})=f(n)$ ，即 $f(n)$ 与 $n^{log{b}^a}$ 同阶，则解为 $T(n)=\Theta (n^{lo{g}_{b}a}logn)=\Theta (f(n)logn)$ ——如上述情况2
• 若 $f(n)$ 更大，则 $T(n)=\Theta (f(n))$

注：上述红色区域部分，主定理无能为力

示例： $T(n)=9T(n/3)+n$

解：$a=9,b=3,f(n)=n$，$n^{lo{g}_{b}a}=n^{lo{g}_{3}9}=\Theta (n^2)$ 。又 $f(n)=O(n^{lo{g}_{3}9-ϵ})$ ，其中 $ϵ=1$，通过主定理情况1，可得 $T(n)=\Theta (n^2)$

3. 排序算法时间复杂度

算法名称	平均时间复杂度	最坏时间复杂度	最好时间复杂度	稳定性
快速排序	$O(nlgn)$	$O(n^2)$	$O(nlgn)$	不稳定
归并排序	$O(nlgn)$	$O(nlgn)$	$O(nlgn)$	稳定
堆排序	$O(nlgn)$	$O(nlgn)$	$O(nlgn)$	不稳定
冒泡排序	$O(n^2)$	$O(n^2)$	$O(n)$	稳定
选择排序	$O(n^2)$	$O(n^2)$	$O(n^2)$	不稳定
插入排序	$O(n^2)$	$O(n^2)$	$O(n)$	稳定

注：$lgn$ 指 $lo{g}_{2}n$