【经典阅读】《算法导论》Chapter3 Growth of Functions

1. 知识梳理

• 渐近记号与定义
  { Θ 、 Ω 、 O 、 o 、 ω } ∼   { = 、 ≥ 、 ≤ 、 < 、 > } \{\Theta 、 \Omega、O、o、\omega \} \sim \ \{=、\ge、\le、\lt、\gt\} {Θ、Ω、O、o、ω}∼ {=、≥、≤、<、>}

  1. f ( n ) = Θ ( g ( n ) ) → { f ( n ) : t h e r e   e x i s t   p o s i t i v e   c o n s t a n t s   c 1 , c 2   a n d   n 0   s u c h   t h a t   0 ≤ c 1 g ( n ) ≤ f ( n ) ≤ c 2 g ( n )   f o r   a l l   n ≥ n 0 } f(n) = \Theta(g(n)) \rightarrow \{f(n): there \ exist \ positive \ constants \ c_1,c_2 \ and \ n_0 \ such \ that \ 0 \le c_1g(n) \le f(n) \le c_2g(n) \ for\ all \ n \ge n_0 \} f(n)=Θ(g(n))→{f(n):there exist positive constants c1​,c2​ and n0​ such that 0≤c1​g(n)≤f(n)≤c2​g(n) for all n≥n0​}
  2. f ( n ) = Ω ( g ( n ) ) → { f ( n ) : t h e r e   e x i s t   p o s i t i v e   c o n s t a n t s   c   a n d   n 0   s u c h   t h a t   0 ≤ c g ( n ) ≤ f ( n )   f o r   a l l   n ≥ n 0 } f(n) = \Omega(g(n)) \rightarrow \{f(n): there \ exist \ positive \ constants \ c \ and \ n_0 \ such \ that \ 0 \le cg(n) \le f(n) \ for\ all \ n \ge n_0 \} f(n)=Ω(g(n))→{f(n):there exist positive constants c and n0​ such that 0≤cg(n)≤f(n) for all n≥n0​}
  3. f ( n ) = O ( g ( n ) ) → { f ( n ) : t h e r e   e x i s t   p o s i t i v e   c o n s t a n t s   c   a n d   n 0   s u c h   t h a t   0 ≤ f ( n ) ≤ c g ( n )   f o r   a l l   n ≥ n 0 } f(n) = O(g(n)) \rightarrow \{f(n): there \ exist \ positive \ constants \ c \ and \ n_0 \ such \ that \ 0 \le f(n) \le cg(n)\ for\ all \ n \ge n_0 \} f(n)=O(g(n))→{f(n):there exist positive constants c and n0​ such that 0≤f(n)≤cg(n) for all n≥n0​}
  4. f ( n ) = o ( g ( n ) ) → { f ( n ) : f o r   a n y   p o s i t i v e   c o n s t a n t   c > 0 , t h e r e   e x i s t s   a   c o n s t a n t   n 0 > 0   s u c h   t h a t   0 ≤ f ( n ) < c g ( n )   f o r   a l l   n ≥ n 0 } f(n) = o(g(n)) \rightarrow \{f(n): for \ any \ positive \ constant \ c \gt 0,there \ exists \ a \ constant \ n_0\gt 0 \ such \ that \ 0 \le f(n) \lt cg(n)\ for\ all \ n \ge n_0 \} f(n)=o(g(n))→{f(n):for any positive constant c>0,there exists a constant n0​>0 such that 0≤f(n)<cg(n) for all n≥n0​}
  5. f ( n ) = ω ( g ( n ) ) → { f ( n ) : f o r   a n y   p o s i t i v e   c o n s t a n t   c > 0 , t h e r e   e x i s t s   a   c o n s t a n t   n 0 > 0   s u c h   t h a t   0 ≤ c g ( n ) < f ( n )   f o r   a l l   n ≥ n 0 } f(n) = \omega(g(n)) \rightarrow \{f(n): for \ any \ positive \ constant \ c \gt 0,there \ exists \ a \ constant \ n_0 \gt 0 \ such \ that \ 0 \le cg(n) \lt f(n) \ for\ all \ n \ge n_0 \} f(n)=ω(g(n))→{f(n):for any positive constant c>0,there exists a constant n0​>0 such that 0≤cg(n)<f(n) for all n≥n0​}

• 记号的性质

  1. 传递性(Transitivity)：$f(n)=\Theta (g(n))andg(n)=\Theta (h(n))⟹f(n)=\Theta (h(n))$，对以上记号均成立
  2. 自反性(Reflexivity)：$f(n)=\Theta (f(n))$，对$\omega 、o$不成立
  3. 对称性(Symmetry)：$f(n)=\Theta (g(n))⟺g(n)=\Theta (f(n))$，只适合$\Theta$记号
  4. 转置对称性(Transpose symmetry)：$f(n)=O(g(n))⟺g(n)=\Omega (f(n))$，对于$\omega 、o$也适用

  注：不是所有函数都可以渐近比较，即$f(n)=O(g(n))$等比较可能不成立， $Ex：nand{n}^{1+sinn}$

• 标记记号与常用函数

  1. 一些取整式子(待证明)：
     • $\lceil \frac{\lceil \mathbf{x}/\mathbf{a}\rceil }{\mathbf{b}}\rceil =\lceil \frac{\mathbf{x}}{\mathbf{a}\mathbf{b}}\rceil$
     • $\lfloor \frac{\lfloor \mathbf{x}/\mathbf{a}\rfloor }{\mathbf{b}}\rfloor =\lfloor \frac{\mathbf{x}}{\mathbf{a}\mathbf{b}}\rfloor$
     • $\lceil \frac{\mathbf{a}}{\mathbf{b}}\rceil \le \frac{\mathbf{a}+(\mathbf{b}-1)}{\mathbf{b}}$
     • $\lceil \frac{\mathbf{a}}{\mathbf{b}}\rceil \ge \frac{\mathbf{a}-(\mathbf{b}-1)}{\mathbf{b}}$
  2. 多项式：若对于某个常量$k$，有$f(n)=O(n^k)$，则称$f(n)$是多项式有界的。
  3. 指数：当$|x|\le 1$时，近似有：$1+x\le e^x\le 1+x+x^2$
  4. 对数：
     • $a^{lo{g}_{b}c}=c^{lo{g}_{b}a}$；
     • 换底公式；
     • 对$x>-1$，$\frac{x}{1+x}\le ln(1+x)\le x$；
     • 多对数有界：对于某个常量$k$，$f(n)=O(l{g}^{k}n)$；
  5. 阶乘：
     • 斯特林近似公式：$n!=\sqrt{2\pi n}(\frac{n}{e}{)}^n(1+\Theta (\frac{1}{n}))$
  6. 多对数、多项式、指数函数间速率比较：$n^b=o(a^n)foralla>1$ ； $l{g}^{b}n=o(n^a)foralla>0$
  7. 多重函数：
     $$f^{(i)}(x)=\{\begin{array}{ll}n& \text{if i = 0}\\ f(f^{(i-1)}(n))& \text{if i>0 }\end{array}$$
  8. 多重对数函数： l g ∗ n = m i n { i ≥ 0 : l g ( i ) n ≤ 1 } lg^*n = min\{i \ge 0: lg^{(i)}n \le 1\} lg∗n=min{i≥0:lg(i)n≤1}
  9. 斐波那契数：
     • 黄金分割率：$\varphi =\frac{1+\sqrt{5}}{2}$，共轭数$\hat{\varphi }=\frac{1-\sqrt{5}}{2}$
     • $F_i=\frac{{\varphi }^i-{\hat{\varphi }}^i}{\sqrt{5}}$;
     • $|\hat{\varphi }|<1\to \frac{|\hat{\varphi }|}{\sqrt{5}}<\frac{1}{\sqrt{5}}<\frac{1}{2}\to F_i=\lfloor \frac{{\varphi }^i}{\sqrt{5}}+\frac{1}{2}\rfloor$

2. 课堂笔记

主要看递归式求解方法，有些内容(如主方法的证明)在第四章。

3. 重点习题

练习题
3.1-2、3.1-3、3.2-3、*3.2-4、*3.2-5
思考题
全部(3-1 $\to$ 3-6)

点此链接查看习题与答案