算法设计与分析——第二章算法分析的数学基础

2.1 计算复杂性函数的阶

##　增长的阶

算法的实际运行时间受除算法设计本身以外很多其他因素的影响，如：指令集、操作系统、编译器……

• 如何描述算法的效率$\to$只与输入问题的规模有关
  • 增长率
  • 时间复杂度
• 忽略低阶项
• 保留最高阶项
• 忽略常系数
• 常见增长阶：$\Theta (1)$, $\Theta (lgn)$, $\Theta (\sqrt[]{n})$, $\Theta (n)$, $\Theta (nlgn)$, $\Theta (n^2)$, $\Theta (n^3)$, $\Theta (2^n)$, $\Theta (n!)$
  • 利用$\Theta (n^2)$表示插入排序的最坏运行时间
• 增长记号$O,\Theta ,\Omega ,o,\omega$
  • $O$表示渐进上界
  • $\Theta$表示渐进紧界
  • $\Omega$表示渐进下界

同阶函数集合 $\Theta$

Θ ( g ( n ) ) = {   f ( n ) ∣ ∃ c 1 , c 2 > 0 , ∀ n > n 0 , c 1 g ( n ) ≤ f ( n ) ≤ c 2 g ( n )   } \Theta(g(n))=\{\,f(n)|\exists c_1,c_2 >0,\forall n>n_0,c_1g(n)\le f(n) \le c_2g(n) \,\} Θ(g(n))={ f(n)∣∃c1​,c2​>0,∀n>n0​,c1​g(n)≤f(n)≤c2​g(n)}

称为与g(n)同阶的函数集合

• 若$f(n)\in \Theta (g(n))$, $g(n)$与$f(n)$同阶, 记作$f(n)=\Theta (g(n))$

$\Theta (g(n))$例子：

• 通常$f(n)=a{n}^2+bn+c=\Theta (n^2)$，其中a,b,c是常数且$a>0$
• 若$p(n)={\sum }_{i=0}^d{a}_i{n}^i$，其中$a_i$是常数且$a_d>0$，则$p(n)=\Theta (n^d)$
• $\Theta (n^0)$或者$\Theta (1)$为常数时间复杂性

低阶函数集合 $O$

对于给定函数$g(n)$:
O ( g ( n ) ) = f { ( n )   存 在 正 常 数 c 和 n 0 满 足 对 于 所 有 n ≥ n 0 , 0 ≤ f ( n ) ≤ c g ( n )   } O(g(n))=f\{(n) \,\bold{存在}正常数c和n_0 满足对于所有n\ge n_0, 0 \le f(n) \le cg(n)\,\} O(g(n))=f{ (n)存在正常数c和n0​满足对于所有n≥n0​,0≤f(n)≤cg(n)}
记作$f(n)\in O(g(n))$, 或简记为$f(n)=O(g(n))$

$\Theta (g(n))$与$O(g(n))$的关系：

• $f(n)=\Theta (g(n))⟹f(n)=O(g(n))$
• $\Theta$强于$O$
• $\Theta (g(n))\subseteq O(g(n))$
  • $a{n}^2+bn+c=\Theta (n^2)$并且$a{n}^2+bn+c=O(n^2)$
  • $an+b=O(n^2)$
  • $n=O(n^2)$

如果 $f(n)=O(n^k)$ ，则称$f(n)$是多项式界限的​

严格低阶函数 $o$

对于给定函数$g(n)$:
o ( g ( n ) ) = f { ( n )   存 在 任 意 正 常 数 c , 存 在 一 个 正 数 n 0 满 足 对 于 所 有 n ≥ n 0 , 0 ≤ f ( n ) < c g ( n )   } o(g(n))=f\{(n) \,存在\bold{任意}正常数c,\bold{存在一个正数}n_0 满足对于所有n\ge n_0, 0 \le f(n) < cg(n)\,\} o(g(n))=f{ (n)存在任意正常数c,存在一个正数n0​满足对于所有n≥n0​,0≤f(n)<cg(n)}
记作$f(n)\in o(g(n))$, 或简记为$f(n)=o(g(n))$

$o$与$O$的关系：

• $O$可能是或不是紧的
  • $2n^2=O(n^2)$是紧的，但$2n=O(n^2)$不是紧的
• $o$标记上界且不紧
  • $2n=o(n^2)$，但是$2n^2\ne o(n^2)$
  • 区别：KaTeX parse error: Undefined control sequence: \cases at position 1: \̲c̲a̲s̲e̲s̲{O:\exist\,c\,某…

高阶函数集合 $\Omega$

对于给定函数$g(n)$:
Ω ( g ( n ) ) = f { ( n )   存 在 正 常 数 c 和 n 0 满 足 对 于 所 有 n ≥ n 0 , 0 ≤ c g ( n ) ≤ f ( n )   } \Omega(g(n))=f\{(n) \,存在正常数c和n_0 满足对于所有n\ge n_0, 0 \le cg(n) \le f(n)\,\} Ω(g(n))=f{ (n)存在正常数c和n0​满足对于所有n≥n0​,0≤cg(n)≤f(n)}
记作$f(n)\in \Omega (g(n))$, 或简记为$f(n)=\Omega (g(n))$

$\Omega$用来描述运行时间的最好情况，对所有输入都正确

例如，对于插入排序：

• 最好运行情况为$\Omega (n)$
• 运行时间为$\Omega (n)$ ($\Omega (n^2)$[x])
• 最坏运行时间为$\Omega (n^2)$

也可以用来描述问题：

​ - 排序问题的时间复杂性为$\mathbf{\Omega }(\mathbf{n})$ $\to$ 最好情况

$\mathbf{O},\mathbf{\Theta },\mathbf{\Omega }$的关系：
$$\begin{gathered} 对于f(n)和g(n),\mathbf{f}(\mathbf{n})=\mathbf{\Theta }(\mathbf{g}(\mathbf{n}))当且仅当 \\ \mathbf{f}(\mathbf{n})=\mathbf{O}(\mathbf{g}(\mathbf{n}))且\mathbf{f}(\mathbf{n})=\mathbf{\Omega }(\mathbf{g}(\mathbf{n})) \end{gathered}$$

严格高阶函数集合 $\omega$

对于给定函数$g(n)$:
ω ( g ( n ) ) = f { ( n )   对 于 任 意 正 常 数 c ， 存 在 正 数 n 0 满 足 对 于 所 有 n ≥ n 0 , 0 ≤ c g ( n ) ≤ f ( n )   } \omega(g(n))=f\{(n) \,对于\bold{任意}正常数c，\bold{存在正数}n_0 满足对于所有n\ge n_0, 0 \le cg(n) \le f(n)\,\} ω(g(n))=f{ (n)对于任意正常数c，存在正数n0​满足对于所有n≥n0​,0≤cg(n)≤f(n)}
记作$f(n)\in \omega (g(n))$, 或简记为$f(n)=\omega (g(n))$

$$\underset{n\to \infty }{\lim }\frac{f(n)}{g(n)}=\infty$$

$\omega$表示不紧的下界

KaTeX parse error: Can't use function '$' in math mode at position 25: …2}{2}=\omega(n)$̲，但$\frac{n^2}{2…

$\omega$与 $\Omega$ 的区别:KaTeX parse error: Undefined control sequence: \cases at position 1: \̲c̲a̲s̲e̲s̲{ \omega:\,\exi…

$\omega$与$o$的关系：
$$f(n)=\omega (g(n))⟺g(n)=o(f(n))$$

渐进符号的性质

• 传递性：$O,\Theta ,\Omega ,o,\omega$
  $$f(n)=\Theta (g(n))并且g(n)=\Theta (h(n))⟹f(n)=\Theta (h(n))$$

• 自反性：$O,\Theta,\Omega $
  $$f(n)=\Theta (f(n))$$

• 对称性：$\Theta$