算法分析与设计CH4：Recurrences

CH4：Recurrences

Review：

• MergeSort
• 分析MergeSort的时间复杂度
  • 递归树 Picture of Recursion Tree
  • 迭代法 Telescoping
  • 数学归纳法 Mathematical Induction
• 渐近分析
  • $O-Notation$
  • $\Omega -Notation$
  • $\Theta -Notation$

---

算法包含对自身的调用时，其运行时间可以用递归式表示：

$MergeSort：T(n)=aT(n/b)+D(n)+C(n)=2T(n/2)+O(n)$

3种求解递归函数的方法：

• 代换法-------------Substitution
• 递归树法----------Recursion Tree
• 主方法-------------Master Method

4.1 Substitution Method 代换法

（1）步骤

步骤：

• 猜测一个解的形式 Guess the form of solution
• 使用数学归纳法证明 Verify by induction
• 求解常数项 Solve for constants

（2）例子

Example1：$T(n)=4T(n/2)+100n$

猜测：$O(n^3)$（如果要证明$\Theta$的话，那么要分别证明O和$\Omega$）

归纳基础：$T(1)=\Theta (1)$

归纳假设：$T(k) \leq ck^3 $在$k < n$时成立

使用数学归纳法证明：$T(n)\le c{n}^3$

证明：
$$\begin{array}{rl}\mathrm{T}(\mathrm{n})& =4\mathrm{T}(\mathrm{n}/2)+100n\\ & \le 4\mathrm{c}(\mathrm{n}/2{)}^3+100n\\ & =(\mathrm{c}/2)n^3+100n\\ & ={\mathrm{c}\mathrm{n}}^3-\left((\mathrm{c}/2)n^3-100n\right)\\ & \le {\mathrm{c}\mathrm{n}}^3\end{array}$$
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-uT0feEXC-1654484649510)(https://cdn.jsdelivr.net/gh/Holmes233666/blogImage@main/img/image-20220605163554811.png)]

最后确定c和n的值即可：

Example2：$T(n)=2T(\lfloor n/2\rfloor )+n$

要严格遵守证明的结果的模式，下面的证明是错误的：

Example3：尝试变量替换

• 考虑：$T(n)=2T(\sqrt{n})+lgn$

• Rename：$m=lgn\Rightarrow T(2^m)=2T(2^{\frac{m}{2}})+m$

• 令$S(m)=T(2^m)$，则有：$S(m)=2S(m/2)+m$

  设当$m_0\le m$时有：$S(m_0)\le c{m}_{0}lg{m}_0$
  $$\begin{gathered} S(m)=2S(m/2)+m \\ \le 2c(m/2)lg(m/2)+m \\ =cmlg(m/2)+m \\ =cmlgm-cm+m \\ =cmlgm-(c-1)m \\ =O(mlgm) \end{gathered}$$

• 转换回来

  $T(2^m)=S(m)=O(mlgm)$

  $T(m)=O(lgmlgm)$

  $T(n)=O(lgnlglgn)$

（3）猜测方法

使用代换法的一个重要技巧是要猜测

猜测的方式：

• 递归树的方法帮助猜测

• 与先前见过的相似

• 先整较松的上届然后缩小区间

  降低上届，提高下界，缩小不确定区间

4.2 Recursion-tree Method

递归树是一个好的猜测的直接方法

递归树方法可能不可靠，就像任何使用省略号的方法一样

4.2.1 例子说明

$T(n)=3T(n/4)+\Theta (n^2)$

（1）递归树猜测上界

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Iw1tuwUO-1654484649511)(https://cdn.jsdelivr.net/gh/Holmes233666/blogImage@main/img/image-20220605175243692.png)]

• 最后一层叶子数：$3^{lo{g}_4^n}=n^{lo{g}_4^3}$

• 每层开销：$((\frac{3}{16}{)}^{i}c{n}^2)$

• 总开销：$c{n}^2+(\frac{3}{16})c{n}^2+(\frac{3}{16}{)}^{2}c{n}^2+......+(\frac{3}{16}{)}^{lo{g}_4^n-1}c{n}^2+O(n^{lo{g}_4^3})=\frac{1\times (1-(\frac{3}{16}{)}^{lo{g}_4^n+1})}{1-\frac{3}{16}}+O(n^{lo{g}_4^3})$

  使用等比数列的上界作为上限：
  $$c{n}^2\sum _{i=0}^{lo{g}_4^n-1}(\frac{3}{16}{)}^i=\frac{c{n}^2}{1-\frac{3}{16}}=\frac{13}{16}c{n}^2$$
  所以：
  $$\begin{gathered} T(n)=c{n}^2+(\frac{3}{16})c{n}^2+(\frac{3}{16}{)}^{2}c{n}^2+......+(\frac{3}{16}{)}^{lo{g}_4^n-1}c{n}^2+O(n^{lo{g}_4^3})=\frac{1\times (1-(\frac{3}{16}{)}^{lo{g}_4^n+1})}{1-\frac{3}{16}}+O(n^{lo{g}_4^3}) \\ \le \frac{13}{16}c{n}^2+O(n^{lo{g}_4^3})=O(n^2) \end{gathered}$$

（2）迭代法证明

递归基础：$T(1)=O(1)$

归纳假设：$T(k)\le c{k}^2，当k<n时成立$

证明：$T(n)\le c{n}^2$
$$\begin{gathered} T(n)=3T(n/4)+d(n^2) \\ \le 3c(n/4{)}^2+d(n^2) \\ =\frac{3}{16}c{n}^2+d(n^2) \\ \le c{n}^2 \end{gathered}$$
当$d\ge \frac{16}{13}c$时成立。

4.3 Master Method

“cook book” Method for solving recurrences of the form:
$$\begin{gathered} T(n)=aT(n/b)+f(n) \\ 其中a\ge 1,b>1 \end{gathered}$$
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-dfxG75kX-1654484649512)(…/…/…/…/Users/%E5%AD%99%E8%95%B4%E7%90%A6/AppData/Roaming/Typora/typora-user-images/image-20220606103409477.png)]

---

叶子的个数：$a^h=a^{lo{g}_b^n}=n^{lo{g}_b^a}$

比较树根$f(n)$和$n^{lo{g}_b^a}$

三种情况：
$$由根到叶子\{\begin{array}{l}减少\\ 不变\\ 增大\end{array}$$

---

4.3.1 Compare f(n) with $n^{lo{g}_b^a}$

（1）$f(n)=O(n^{lo{g}_b^a-ϵ})$ 叶子开销严格大于树根

$f(n)$多项式增长慢于$n^{lo{g}_b^a}(byan{n}^{ϵ}factor)$

$Solution:T(n)=\Theta (n^{lo{g}_b^a})$

注意是$\Theta$

（2）$f(n)=O(n^{lo{g}_b^a}(lgn{)}^k)$ 树根开销为叶子开销的$lgn$的$k$次方倍

其中$k\ge 0$，整数

$Solution:T(n)=\Theta (n^{lo{g}_b^a}lg{n}^{k+1})$最终结果多乘以一个树高的k次方

（3）$f(n)=O(n^{lo{g}_b^a+ϵ})$ 叶子开销小于树根开销

需要额外满足$af(n/b)\le cf(n)$

$T(n)=\Theta (f(n))$树根量级

4.3.2 Conclusion

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-syc8impv-1654484649512)(CH4%EF%BC%9ARecurrences.assets/image-20220606103532574.png)]