Introduction to Algorithms NoteBook 2

Introduction to Algorithms NoteBook 2

Time:2022-01-25

渐近符号

$O$记号

1. 定义

2. 前提:$f(n)\ge 0$

3. 这里的等号表示归属于某一个集合。这个符号不是对称的，因此不可以逆向推导。

4. 举例：

   1. 当作宏来使用，如$f(n)=n^3+O(n^2)$，表示存在函数$h(n)\in O(n^2)$，使得$f(n)=n^3+h(n)$.用于重点描述首项是什么，以及加上后面的误差项，关注问题的主要方面。又如：$n^2+O(n)=O(n^2)$，表示对于任意的$h(n)\in O(n)$，都存在$f(n)\in O(n^2)$，使得$n^2+h(n)=f(n)$。这里很巧妙，要注意观察。
   2. 可以用于等式关系链，从前向后推导，但是不能反过来推导，因为本身不对称。
   3. 一般表示一个函数的上界

$\Omega$记号

1. 定义

2. 定义$\Theta$

3. 其他较为严格定义的符号$o$，$\omega$

   1. 

   2. $o$与$O$的主要区别在于是否对于任意常数c，都存在$n_0$。严格小于号，没有等于号。

   3. $\omega$记号同上：

Recurrences(递归关系的求解)

代入法

1. 猜出解的形式，即是不需要知道确切的系数是多少。

2. 验证解的形式是否满足递归方程，即正确性，多采用数学归纳法/代换法。

3. 解出常数系数，获得递归方程的解。

   举例：$T(n)=4T(\frac{n}{2})+n$.

   1. 递归基：$T(1)=O(1)$

   2. 猜测$T(n)=O(n^3)$，即是$T(k)\le c{k}^3$,注意$c$是待求已确定常数。

   

   注意递归基，$T(1)=O(1)\le c$。所以常数c可能是一个很大的常数。

   3. 再次猜测：$T(n)=O(n^2)$，即是$T(k)\le c{k}^{2}fork\le n$,归纳正确但是无用，进一步加强，考虑$n$的系数，考虑低阶项。

   4. 猜测:$T(n)=c_1{n}^2-c_{2}n$,即是$T(k)=c_1{k}^2-c_{2}kfork\le n$,推导出$c_2\ge 1$。特别地，$c_1-c_2\ge \Theta (1)=T(1)$,这里要求$c_1$足够大，这是依据Base Case来得到的。

   5. 当然，可以采用同样的方法得到$T(n)$下界。

   注意：

   1. 不能采用数学归纳法证明:$n=O(1)$.否则将由于$n=(n-1)+1=O(1)+O(1)=O(1)$,而导致出错。因此不可以在数学归纳法的证明中出现$O(n)$记号来表示不确定的常数。
   2. 本方法需要猜出答案，不适合大面积递归关系的求解。

递归树法

举例：$T(n)=T(\frac{n}{4})+T(\frac{n}{2})+n^2$：解$O(n^2)$,$T(n)\le 2n^2$.

1. 画图为先！

2. 对每一行求和！

3. 对每一行的和求和。

4. 代换法验证，证明之。

5. 示例：

主方法(主定理)

1. 主定理

注：

1. $f(n)$渐进趋向于正数，即是对于$n\ge n_0$，都有$f(n)>0$.

2. 注意比较$f(n)$和$n^{lo{g}_{b}a}$的大小关系，来选择使用哪种情况。

3. 特殊情况：$T(n)=4T(\frac{n}{2})+\frac{n^2}{\lg n}$,主方法并不适用。

2. 证明主定理

   1. 递归树法证明，树高${\log }_{b}n$，叶节点的数量$a^h=a^{{\log }_{b}n}=n^{{\log }_{b}a}$.
   2. Case 3 代价逐渐降低，呈现几何级数的形式下降，$f(n)$占据主导地位。
   3. Case 1 每一行之和呈现几何级数增长，所有行之和占据主导地位。即$\Theta (n^{{\log }_{b}a})$.
   4. Case 2 这是$f(n)$与$n^{{\log }_{b}a}$等价，于是$f(n)$与最后递归树的最后一行等价，至于是否含有${\log }_{b}a$或者${\log }_b^{k}a$视情况而定。每一行之和渐进相等，所以大部分分层也渐进相等，所以总代价就是其中一层乘以树高$h$，即$f(n)\ast h=n^{{\log }_{b}a}{\log }_{b}n=\Theta (n^{{\log }_{b}a}\lg n)$.

   详细证明请参考算法导论第三版$P56$.

   Time:2022-01-25