【算法导论】第4章分而治之 (2)

最新推荐文章于 2022-10-25 16:02:46 发布

今岁成蹊

最新推荐文章于 2022-10-25 16:02:46 发布

阅读量624

点赞数 1

分类专栏：算法导论学习笔记文章标签：算法导论分治算法

本文链接：https://blog.csdn.net/HPP_CSDN/article/details/103929367

版权

算法导论学习笔记专栏收录该内容

12 篇文章 1 订阅

订阅专栏

Introduction to Algorithms - Third Edition
Part I. Foundations
Chapter 4. Divide-and-Conquer

4.3 代换法求解递归式

两个步骤：

猜测解的形式。
用数学归纳法求出常数，证明解是有效的。

做一个好的猜测

① 将在章节 4.4 中介绍的递归树，可以用来帮助猜测。
② 如果递归式与以前见过的类似，那么可猜测该递归式有相似的解。
③ 先证明递归式的较松的上下界，然后再缩小不确定性区间。

一些细微问题

有时我们或许能猜出递归式解的渐近界，但用数学归纳法证明失败。通常，问题在于归纳假设不够强，无法证明其确切的界。遇到这种情况时，可以减去一个低阶项来修改所猜测的界，以使证明顺利进行。
考虑递归式： $T(\lfloor n/2 \rfloor) + T( \lceil n/2 \rceil) + 1$ 。
猜测它的解为 $T (n) = O (n)$ ，即要证明对适当选择的常数 $c$ ，有 $\le cn$ 。
用猜测的界对递归式作替换，得 $\le c\lfloor n/2 \rfloor + c\lceil n/2 \rceil + 1 \le cn +1$ ，
由此引不出 $\le cn$ ，无论 $c$ 选择何值。
为了证明 $T (n) = O (n)$ 是正确的，需要作一个更强的归纳假设： $\le cn - d$ ，其中 $d$ 是一个常数。
$\le （c\lfloor n/2 \rfloor - d) + (c\lceil n/2 \rceil - d) + 1 \le cn - 2d +1 \le cn -d$ ，只要 $\ge 1$ 。

避免陷阱

使用渐近符号很容易出错。例，递归式 $2T(\lfloor n/2 \rfloor) + n$ 中，可能错误地“证明” $T (n) = O (n)$ 。
假设 $\le cn$ ，证明 $\le 2(c\lfloor n/2 \rfloor) + n \le cn + n = O(n)$ ， $\Longleftarrow$ 错！！
因为 $c$ 是一个常数。
错误在于没有证明归纳假设的准确形式，即 $\le cn$ 。

改变变量

有时，对一个未知的递归式作一些代数变换，可得到一个与我们之前见过类似的递归式。
例，考虑递归式 $2T(\lfloor \sqrt n \rfloor) + \lg n$ ，
通过改变变量，简化这个递归式。为方便起见，不考虑值的截取整数问题。
设 $\lg n$ ，有 $T(2^m) = 2T( n^{m/2} ) + m$ 。
设 $S(m) = T(2^m)$ ，得到新的递归式 $S (m) = 2 S (m / 2) + m$ 。
新递归式的解为 $\lg m)$ 。将 $S (m)$ 代回 $T (n)$ ，有
$T(n) = T(2^m) = S(m) = O(m \lg m) = O(\lg n \lg\lg n)$ 。

练习

4.3-1 证明 $T (n) = T (n - 1) + n$ 的解是 $O(n^2)$ 。
证：即证明存在常数 $c$ 和 $n_0$ ，当 $\ge n_0$ 时，有 $\le cn^2$ 。
替换递归式，得 $\le c(n-1)^2 + n = cn^2 + n -2cn + c \le cn^2$ 。
存在 $n_0\ge 1$ ， $\ge \frac{n}{2n-1}$ ，上式最后一步成立，即证。

4.3-2 证明 $T(\lceil n/2 \rceil) + 1$ 的解是 $O(\lg n)$ 。
证：即证明存在常数 $c$ 和 $n_0$ ，当 $\ge n_0$ 时，有 $\le c\lg n$ 。替换递归式，得
$\le c\lg(\lceil n/2 \rceil) + 1 \le c\lg((n+1)/2)+1 = c\lg(n+1) -c + 1 \le c\lg n$ 。 (1)
当 $n\ge4$ 时， $\lg(n+1) - \lg n = \lg(\frac{n+1}{n}) = \lg(1+1/n) \le \lg(5/4) < 0.33 < 1/2$ 。
此时， $c\lg(n+1) -c + 1 \le c(\lg n + 1/2) - c +1 = c\lg n + 1 - c/2$ 。
所以，存在 $n_0\ge 4$ ， $\ge 2$ ，(1) 式最后一步成立，即证。

4.3-3 我们知道 $2T(\lfloor n/2 \rfloor) + n$ 的解是 $O(n\lg n)$ 。证明这个给递归式的解也是 $\Omega(n \lg n)$ 。得出结论：该递归式的解为 $\Theta(n \lg n)$ 。
证：即证明存在常数 $c$ 和 $n_0$ ，当 $\ge n_0$ 时，有 $\ge cn \lg n$ 。替换递归式，得
$\ge 2(c\lfloor n/2 \rfloor \lg (\lfloor n/2 \rfloor)) + n \ge c(n-1) \lg ((n-1)/2) +n \\= c(n-1)\lg (n-1) -c(n-1) + n =cn\lg(n-1) -c\lg(n-1) -cn +n+c \\\ge cn\lg(n-1) -c\lg n-cn +n+c \ge cn\lg n$ 。
当 $n\ge2$ 时， $\lg(n-1) - \lg n = \lg(\frac{n-1}{n}) = \lg(1-1/n) \ge \lg(1/2) = -1$ 。
此时， $cn\lg(n-1) -c\lg n -cn +n+c \ge cn\lg n -c\lg n -2cn+n+c$
存在 $n_0\ge 2$ ， $\le \frac{n}{2n+\lg n-1}$ ，上式最后一步成立，所以 $\Omega(n\lg n)$ ，即证。

4.3-4 证明：通过作不同的归纳假设，对递归式（4.19）我们可以克服在证明边界条件 $T (1) = 1$ 时的困难，而无需调整归纳证明中的边界情况。
证：递归式 (4.19)： $2T(\lfloor n/2 \rfloor) + n$ 。其解为 $\lg n)$ 。
归纳假设：存在常数 $c$ ，当 $\ge 1$ 时，有 $\le cn \lg (n+1)$ 。
替换递归式，得 $\le 2(c\lfloor n/2 \rfloor \lg (\lfloor n/2 \rfloor+1)) + n \le cn \lg ((n+2)/2) +n = cn\lg (n+2) -cn + n \le cn\lg (n+2) \le cn \lg(n+1)$ 。
当 $\ge 1$ 时，上式成立，所以 $O(n\lg(n+1))$ 。
令 $n\lg(n+1)$ ，则 $\ge T(1)$ 。边界条件满足归纳假设。
因为 $n\lg(n+1) = \Theta(n\lg n)$ ，根据渐近符号的传递性，得 $O(n\lg n)$ 。

4.3-5 证明合并排序算法的“准确”递归式 (4.3) 的解为 $\Theta(n\lg n)$ 。
证：递归式 (4.3) 为：
$\begin{cases} \Theta(1) &\text{if } n=1, \\ T(\lceil n/2 \rceil) + T(\lfloor n/2 \rfloor) + \Theta(n) &\text{if } n >1. \end{cases}$
令 $\Theta(n)$ ，则存在正常数 $c_1$ 、 $c_2$ 和 $n_0$ ，有 $c_1n \le f(n) \le c_2n$ 。

先证 $\Omega(n\lg n)$ ，即证存在常数 $c$ 和 $n_1$ ，当 $n>n_1$ 时，有 $\ge cn\lg n$ 。
$T(\lceil n/2 \rceil) + T(\lfloor n/2 \rfloor) + f(n) \ge 2T(\lfloor n/2 \rfloor) + f(n) \ge 2(c\lfloor n/2 \rfloor \lg (\lfloor n/2 \rfloor)) + f(n) \\ \ge cn\lg(n/2) + f(n) = cn\lg n - cn + f(n) \ge cn \lg n$ 。
存在常数 $c = c_1$ ， $n_1 > n_0$ ，上式最后一步成立，即证。

再证 $O(n\lg n)$ ，即证存在常数 $c$ 和 $n_2$ ，当 $n>n_2$ 时，有 $\le cn\lg n$ 。
$T(\lceil n/2 \rceil) + T(\lfloor n/2 \rfloor) + f(n) \le 2T(\lceil n/2 \rceil) + f(n) \le 2(c\lceil n/2 \rceil \lg (\lceil n/2 \rceil)) + f(n) \\ \le c(n+1)\lg((n+1)/2) +c_2n = cn\lg(n+1) + c\lg(n+1) - c(n+1) + c_2n \\ \le cn\lg n$ 。 (2)
当 $n\ge4$ 时， $\lg(n+1) \le \lg n+1$ 。
此时， $cn\lg(n+1) + c\lg(n+1) - c(n+1) + c_2n \le cn\lg n +c\lg(n+1)-c+c_2n$ 。
存在 $n_2 \ge \max(n_0,4)$ ， $\ge \frac{c_2n}{1-\lg(n+1)}$ ，(2) 式最后一步成立，即证。

综上，所求解为 $\Theta(n\lg n)$ 。

4.3-6 证明 $2T(\lfloor n/2 \rfloor + 17) + n$ 的解是 $O(n\lg n)$ 。
证：即证明存在常数 $c$ 和 $n_0$ ，当 $\ge n_0$ 时，有 $\le cn\lg n$ 。替换递归式，得
$\le 2c(\lfloor n/2 \rfloor+17)\lg(\lfloor n/2 \rfloor+17) + n \le (cn + 34c)\lg(n/2+17) + n\\ =cn\lg(n+34) +34c\lg(n+34) - cn-34c+n$ 。
当 $\ge 34$ 时， $\lg(n+34) - \lg n = \lg\frac{n+34}{n} = \lg(1+\frac{34}{n}) \le 1$ 。
此时， $cn\lg(n+34) +34c\lg(n+34) - cn-34c+n \\ \le cn(\lg n+1) + 34c\lg(n+34) - cn-34c+n = cn\lg n + 34c\lg(n+34) -34c + n$ 。
存在 $n_0\ge 1$ ， $\ge \frac{n}{34(1-\lg(n+34))}$ ，上式最后一步成立，即证。

4.3-7 使用章节 4.5 的主方法，可以证明递归式 $T (n) = 4 T (n / 3) + n$ 的解是 $\Theta ( n ^ { \log_3 {4} })$ 。证明假设 $\le cn^{\log_3 {4}}$ 的替换证明是不成立的。再说明如何减去一个低阶项使替换证明成立。
证： $1.27 > \log_3 {4} > 1.26 > 1$ 。
归纳假设：对任意常数 $c$ ，存在常数 $n_0$ ，当 $\ge n_0$ 时，有 $\ge cn^{\log_3 4}$ 。替换递归式，得
$\ge 4c(n/3)^{\log_3 4} + n = 4cn^{\log_3 4} \cdot (1/3)^{\log_3 4} + n= cn^{\log_3 4} + n \ge cn^{\log_3 4}$ 。
所以，假设 $\le cn^{\log_3 {4}}$ 的替换证明是不成立的。

归纳假设：存在常数 $c$ 和 $n_0$ ，当 $\ge n_0$ 时，有 $\le cn^{\log_3 4} - dn^{-1}$ ，其中常数 $d > 0$ 。
替换递归式，得
$\le 4c(n/3)^{\log_3 4} -d(n/3)^{-1} + n = cn^{\log_3 4} -d(n/3)^{-1} + n \le cn^{\log_3 4} - dn^{-1}$ 。
当 $\ge n^2 / 2$ 时，上式最后一步成立，即证。

4.3-8 使用章节 4.5 的主方法，可以证明递归式 $T(n) = 4T(n/2) + n^2$ 的解是 $\Theta ( n^2)$ 。证明假设 $\le cn^2$ 的替换证明是不成立的。再说明如何减去一个低阶项使替换证明成立。
证：归纳假设：对任意常数 $c$ ，存在常数 $n_0$ ，当 $\ge n_0$ 时，有 $\ge cn^2$ 。替换递归式，得
$\ge 4c(n/2)^2 + n^2 = cn^2 + n^2 \ge cn^2$ 。
所以，假设 $\le cn^2$ 的替换证明是不成立的。

归纳假设：存在常数 $c$ 和 $n_0$ ，当 $\ge n_0$ 时，有 $\le cn^2 - dn^{-1}$ ，其中常数 $d > 0$ 。
替换递归式，得
$\le 4c(n/2)^2 -d(n/2)^{-1} + n^2 = cn^2 -d(n/2)^{-1} + n^2 \le cn^2 - dn^{-1}$ 。
当 $\ge n^3$ 时，上式最后一步成立，即证。

4.3-9 通过改变变量的方法求解递归式 $3T(\sqrt{n}) + \log n$ 。得到的解应当是渐近紧确的。不必担心值是否为整数。
解：设 $\log n$ ，则有 $T(10^m) = 3T(10^{m/2}) + m$ 。
令 $S(m) = T(10^m)$ ，得到新递归式 $S (m) = 3 S (m / 2) + m$ 。
新递归式的解为 $\Theta(m^{\lg 3})$ 。（待确定）
将 $S (m)$ 代回 $T (n)$ ，有 $T(10^m) = S(m) = \Theta(m^{\lg 3}) = \Theta((\log n)^{\lg 3})$ 。

4.4 递归树方法求解递归式

在递归树中，每个结点表示递归函数调用集合中一个子问题的代价。
递归树适合来生成一个好的猜测，然后可以通过替换方法来验证。但是，如果在绘制递归树和计算代价时非常仔细，可以使用递归树作为递归解的直接证明。

练习

4.4-1 使用递归树来确定递归式 $3T(\lfloor n/2 \rfloor) + n$ 的一个好的渐近上界。用代换法证明你的答案。
解：下面递归树有 $\lg n + 1$ 层。最后一层的代价为 $\Theta(3^{\lg n}) = \Theta(n^{\lg3})$ 。

把所有层次的代价加起来，得到整个树的代价：
$\frac{3}{2}n + (\frac{3}{2})^2n + \dots + (\frac{3}{2})^{\lg n - 1}n + \Theta(n^{\lg3}) = \sum_{i=0}^{\lg n - 1} (\frac{3}{2})^i n + \Theta(n^{\lg3}) \\ =\frac{(3/2)^{\lg n} - 1}{(3/2) -1}n + \Theta(n^{\lg3}) =2\cdot n^{\lg 3} - 2n + \Theta(n^{\lg3}) \\ =\Theta(n^{\lg 3})$ 。
猜测： $T(n) = O(n^{\lg3})$ 。
证明：假设存在常数 $c$ 和 $n_0$ ，当 $\ge n_0$ 时，有 $\le cn^{\lg 3} - dn^{-1}$ ，其中，常数 $d > 0$ 。
替换递归式，得
$\le 3c(\lfloor n/2 \rfloor)^{\lg3} -d(\lfloor n/2 \rfloor)^{-1} + n \le 3c(n/2)^{\lg3} - d(n/2)^{-1} + n \\ = cn^{\lg3} - 2dn^{-1} + n \le cn^{\lg 3} - dn^{-1}$ 。
当 $\ge n^2$ 时，上式最后一步成立。即证。

4.4-2 使用递归树来确定递归式 $T(n) = T(n/2) + n^2$ 的一个好的渐近上界。用代换法证明你的答案。
解：递归树有 $\lg n + 1$ 层。每层代价如下：
第 0 层： $n^2$ ，
第 1 层： $(\frac{n}{2})^2 = \frac{1}{4}n^2$ ，
第 2 层： $\frac{1}{4}(\frac{n}{2})^2 = (\frac{1}{4})^2n$ ，
……
第 $\lg n$ 层： $T (1)$ 。
把所有层次的代价加起来，得到整个树的代价：
$n^2 + \frac{1}{4}n^2 + (\frac{1}{4})^2n^2 + \dots + (\frac{1}{4})^{\lg n - 1}n^2 + \Theta(1) = \sum_{i=0}^{\lg n - 1} (\frac{1}{4})^i n^2 + \Theta(1) \\ =\frac{(1/4)^{\lg n} - 1}{(1/4) -1} n^2 + \Theta(1) = \frac{4}{3}(1-1/n^2)n^2 + \Theta(1) = \frac{4}{3}n^2 - \frac{4}{3} + \Theta(1) \\ =\Theta(n^2)$ 。
猜测： $T(n) = O(n^2)$ 。
证明：假设存在常数 $c$ 和 $n_0$ ，当 $\ge n_0$ 时，有 $\le cn^2$ 。替换递归式，得
$\le c(n/2)^2 + n^2 = \frac{1}{4}cn^2 + n^2 \le cn^2$ 。
当 $\ge 4/3$ 时，上式最后一步成立。即证。

4.4-3 使用递归树来确定递归式 $T (n) = 4 T (n / 2 + 2) + n$ 的一个好的渐近上界。用代换法证明你的答案。
解：每层代价如下：
第 0 层： $n$ ，
第 1 层： $\times 1$ ，
第 2 层： $16 \times 3$ ，
第 3 层： $\times 7$ ，
第 4 层： $\times 15$
……
第 $i$ 层：每个结点的代价为 $n/2^i+ \frac{2^i-1}{2^{i-2}}$ ，有 $4^i$ 个结点，总代价为 $2^i n + 2^{i+2}\cdot (2^i-1)$ .

当 $\le 4$ 时，运用递归式会无限循环，单个结点的代价趋于 4。
此时，运行子问题的基本程序，不使用递归程序。

令 $\Theta(1)$ 是最小子问题运行时间。
求解 $n/2^i+ \frac{2^i-1}{2^{i-2}} = 5$ ，得 $\lg(n-4)$ 。所以递归树一共有 $\lg(n-4) + 1$ 层。
第 $\lg(n-4)$ 层：有 $4^{\lg(n-4)}$ 个结点，每个结点的代价为 $T (5)$ 。这层总代价为 $\Theta(4^{\lg(n-4)})$ 。
把所有层次的代价加起来，得到整个树的代价：
$\sum_{i=0}^{\lg(n-4)-1} (2^i n + 2^{i+2}\cdot (2^i-1) )+ \Theta(4^{\lg(n-4)}) \\ =\sum_{i=0}^{\lg(n-4)-1}2^i n + \sum_{i=0}^{\lg(n-4)-1} 4^{i+1} - \sum_{i=0}^{\lg(n-4)-1}2^{i+2} + \Theta((n-4)^2) \\ =\frac{2^{\lg(n-4)} - 1}{2-1}n + 4\cdot\frac{4^{\lg(n-4)} - 1}{4-1} - 4\cdot\frac{2^{\lg(n-4)} - 1}{2-1} + \Theta(n^2) \\ =(n-5)n + \frac{4}{3}((n-4)^2-1) -4(n-5) + \Theta(n^2) \\ =\Theta(n^2)$ .

猜测： $T(n) = O(n^2)$ 。
证明：假设存在常数 $c$ 和 $n_0$ ，当 $\ge n_0$ 时，有 $\le cn^2 - dn^{-1}$ ，其中，常数 $d > 0$ 。
替换递归式，得
$\le 4c(n/2+2)^2 - d(n/2+2)^{-1} + n = cn^2 + 8cn + 16 - 2d/(n+4) + n \le cn^2 -dn^{-1}$ 。
当 $n_0 > 4$ ， $\frac{n^3+20n^2+64n}{n-4}$ ， $\le \frac{(d-64)n-4d -n^3-20n^2}{8n^2(n+4)}$ 时，上式最后一步成立。即证。

4.4-4 使用递归树来确定递归式 $T (n) = 2 T (n - 1) + 1$ 的一个好的渐近上界。用代换法证明你的答案。
解：递归树有 $n$ 层。每层代价如下：
第 0 层：1
第 1 层：2
第 2 层：4
……
第 $n - 1$ 层： $2^{n-1}T(1)$
把所有层次的代价加起来，得到整个树的代价：
$\dots + 2^{n-2} + \Theta(2^{n-1}) \\ =\sum_{i=0}^{n-2}2^{i} + \Theta(2^{n-1}) = \frac{2^{n-1} - 1}{2-1} + \Theta(2^{n-1}) \\ =2^{n-1} -1 + \Theta(2^{n-1}) \\ =\Theta(2^n)$ .

猜测： $T(n) = O(2^n)$ 。
证明：假设存在常数 $c$ 和 $n_0$ ，当 $\ge n_0$ 时，有 $\le c\cdot2^n - dn^{-1}$ ，其中，常数 $d > 0$ 。
替换递归式，得
$\le 2c\cdot 2^{n-1} - d(n-1)^{-1} + 1 = c\cdot 2^n -d/(n-1) + 1 \le c\cdot 2^n - d/n$ 。
当 $\ge n(n-1)$ 时，上式最后一步成立。即证。

4.4-5 使用递归树来确定递归式 $T (n) = T (n - 1) + T (n / 2) + n$ 的一个好的渐近上界。用代换法证明你的答案。
解：（？）
第 0 行： $n$
第 1 行： $\frac{n}{2} = \frac{3}{2}n-1$
第 2 行： $((n-2)+\frac{n-1}{2}) + (\frac{n}{2}-1+\frac{n}{4}) = \frac{9}{4}n - \frac{7}{2} =(\frac{3}{2}n -1)-2+(\frac{3}{2}n -1)/2$
第 3 行： $\frac{n-2}{2} + (\frac{n-1}{2}-1 + \frac{n-1}{4}) + (\frac{n}{2}-2 + (\frac{n}{2}-1)/2) + (\frac{n}{4}-1) + \frac{n}{8} = \frac{27}{8}n - \frac{37}{4} = (\frac{9}{4}n - \frac{7}{2})-4 + (\frac{9}{4}n - \frac{7}{2})/2$
第 4 行： $(\frac{27}{8}n - \frac{37}{4})-8 + (\frac{27}{8}n - \frac{37}{4})/2 = \frac{81}{16}n -\frac{175}{8}$
……
第 $i$ 行： $\frac{3^i}{2^i}n - S(i)$

第 2 - 4 行减去的常数：
$2 + 3 / 2$
$+2\cdot3/2+(3/2)^2$
$8+4\cdot3/2+2\cdot(3/2)^2 + (3/2)^3$
第 $i$ 行减去的常数：
$2^{i-1}+2^{i-2}\cdot(3/2) + \cdots + 2\cdot(3/2)^{i-2} + (3/2)^{i-1}$

所以，第 $i$ 行的代价为：
$\frac{3^i}{2^i}n - S(i) \le (\frac{3}{2})^{i}n - 2^{i-1}$
递归树的层数为 $n$ 。
把所有层次的代价加起来，得到整个树的代价：
$\le n+\frac{3}{2}n + (\frac{3}{2})^2n + \cdots + (\frac{3}{2})^{n-1}n - (1+2 + 2^2 + \cdots + 2^{n-2}) \\ =\sum_{i=0}^{n-1}(\frac{3}{2})^i - \sum_{i=0}^{n-2}2^i \\ =2((\frac{3}{2})^n-1)n - (2^{n-1} - 1) \\ =O((\frac{3}{2})^nn)$

猜测： $O((\frac{3}{2})^nn)$ 。
证明：假设存在常数 $c$ 和 $n_0$ ，当 $\ge n_0$ 时，有 $\le c\cdot(\frac{3}{2})^nn$ 。
替换递归式，得
$\le c(\frac{3}{2})^{n-1}(n-1) + c\cdot(\frac{3}{2})^{n/2}\cdot\frac{n}{2} + n = c(\frac{3}{2})^{n-1}n -c(\frac{3}{2})^{n-1} + c\cdot(\frac{3}{2})^{n/2}\cdot\frac{n}{2} + n \le c\cdot(\frac{3}{2})^nn$ 。
当 $\ge n/((\frac{3}{2})^{n-1}-(\frac{3}{2})^{n/2}\cdot\frac{n}{2})$ 时，上式最后一步成立。即证。

4.4-6 使用递归树证明递归式 $T (n) = T (n / 3) + T (2 n / 3) + c n$ 的解为 $\Omega(n\lg n)$ ，其中 $c$ 是常数。
证：树的深度为 $log_{3/2}n$ 。
第 0 层的代价为 $c n$ 。
前 $log_3n$ 层每层的代价均为 $c n$ 。
所以整个树的代价至少是： $cn\cdot \log_3n = cn\frac{\lg n}{\lg3} = \Theta(n\lg n)$ 。
所以， $\Omega(n\lg n)$ 。

4.4-7 画出 $4T(\lfloor n/2 \rfloor) + cn$ 的递归树，其中 $c$ 是常数，给出解的渐近紧确界。用代换法证明你给出的界。
解：树的深度为 $\lg n$ 。每层代价为：
第 0 层： $c n$
第 1 层： $4 (c n / 2) = 2 c n$
第 2 层： $4^2\cdot (cn/2^2) = 4cn$
……
第 $i$ 层： $4^i \cdot (cn/2^i) = cn\cdot 2^i$

把所有层次的代价加起来，得到整个树的代价：
$cn\cdot \sum_{i=0}^{\lg n-1}2^i = cn(2^{\lg n}-1) = cn^2 - cn = \Theta(n^2)$ 。

使用代换法分别证明 $T(n) = O(n^2)$ 和 $\Omega(n^2)$ 。
证明过程略。

4.4-8 使用递归树确定递归式 $T (n) = T (n - a) + T (a) + c n$ 的渐近紧确解，其中常数 $\ge 1$ ， $c > 0$ 。
解：令 $T (a) = b$ 是最小子问题运行时间，其中 $b$ 是常量。
令 $n - a i = a$ ，得 $i = n / a - 1$ ，所以递归树有 $n / a$ 层。
递归树的每层代价如下：
第 0 层： $c n$
第 1 层： $c (n - a) + b = c n - c a + b$
第 2 层： $c (n - 2 a) + 2 b = c n - 2 c a + 2 b$
……
第 $i$ 层： $cn-ca\cdot i+b\cdot i$

把所有层次的代价加起来，得到整个树的代价：
$cn\cdot(n/a) + (b-ca)\sum_{i=0}^{n/a-1}i \\ =cn^2/a + (b-ca)\frac{n/a(n/a-1)}{2} \\ =(c/2a+b/2a^2)\cdot n^2 +(c/2-b/2a)\cdot n \\ =\Theta(n^2)$

4.4-9 使用递归树确定递归式 $T(\alpha n) + T((1-\alpha)n) + cn$ 的渐近紧确解，其中常数 $\alpha < 1$ ， $c > 0$ 。
解：不妨设 $\alpha \ge 1-\alpha$ ，则有 $1-\alpha \le 1/2$ ， $\le \alpha < 1$ 。

递归树的前 $\log_{1/(1-\alpha)}n$ 层是完全递归树，每层代价为 $c n$ ，所以猜测 $\Omega(n \log_{1/(1-\alpha)}n) = \Omega(n\lg n)$ 。
递归树有 $\log_{1/\alpha}n$ 层，每层代价 $\le cn$ ，所以猜测 $O(n\log_{1/\alpha}n) = O(n\lg n)$ 。

现在使用替换法证明 $\Theta(n\lg n)$ 。
为了证明上界，需要证明存在常数 $d > 0$ ，有 $\le dn\lg n$ 。
$T(\alpha n) + T((1-\alpha)n) + cn \\ \le d\alpha n \lg(\alpha n) + d(1-\alpha)n\lg((1-\alpha)n) + cn \\ =d\alpha n\lg\alpha + d\alpha n\lg n + d(1-\alpha)n\lg(1-\alpha) + d(1-\alpha)n\lg n + cn \\ =dn\lg n + dn(\alpha\lg\alpha + (1-\alpha)\lg(1-\alpha)) + cn \\ \le dn\lg n$ ，
如果 $dn(\alpha\lg\alpha + (1-\alpha)\lg(1-\alpha)) + cn \le 0$ ，这个条件等于
$d(\alpha\lg\alpha + (1-\alpha)\lg(1-\alpha)) \le -c$ 。
因为 $\le \alpha < 1$ ， $1-\alpha \le 1/2$ ，则有 $\lg \alpha < 0$ ， $\lg(1-\alpha) < 0$ 。
所以 $d(\alpha\lg\alpha + (1-\alpha)\lg(1-\alpha)) < 0$ ，
所以 $\ge \frac{-c}{\alpha\lg\alpha + (1-\alpha)\lg(1-\alpha)}$ 。
右边的分数是一个正的常数，所以只要 $d$ 的值大于等于这个分数就足够了。

为了证明下界，需要证明存在常数 $d > 0$ ，有 $\ge dn\lg n$ 。
可以使用与上界相同的证明，将 $\ge$ 替换 $\le$ ，我们得到的要求是
$\le \frac{-c}{\alpha\lg\alpha + (1-\alpha)\lg(1-\alpha)}$ 。
综上所述，得 $\Theta(n\lg n)$ 。

4.5 主方法求解递归式

主方法提供了求解如下形式的递归式的“食谱”方法：
$T (n) = a T (n / b) + f (n)$ ， (4.20)
其中，常数 $\ge 1$ 且 $b > 1$ ， $f (n)$ 是渐近正函数。

主定理

主方法依赖于下面的定理。

定理 4.1（主定理）
设 $\ge 1$ 和 $b > 1$ 为常数，设 $f (n)$ 是一个常数，设 $T (n)$ 由递归式
$T (n) = a T (n / b) + f (n)$
对非负整数定义。其中 $n / b$ 解释为 $\lfloor n/b \rfloor$ 或 $\lceil n/b \rceil$ 。那么 $T (n)$ 有下面的渐近界：

若存在常数 $\epsilon > 0$ ，有 $O(n^{\log_b a - \epsilon})$ ，则 $\Theta(n^{\log_b a})$ 。
若 $\Theta(n^{\log_b a})$ ，则 $\Theta(n^{\log_b a}\lg n)$ 。
若存在常数 $\epsilon > 0$ ，有 $\Omega(n^{\log_b a + \epsilon})$ ，且存在常数 $c < 1$ ，对所有足够大的 $n$ ，有 $\le cf(n)$ ，则 $\Theta(f(n))$ 。

练习

4.5-1 使用主方法给出下列递归式的紧确渐近界。
a. $T (n) = 2 T (n / 4) + 1$ 。
b. $\sqrt{n}$ 。
c. $T (n) = 2 T (n / 4) + n$ 。
d. $T(n) = 2T(n/4) + n^2$ 。
解： $a = 2$ ， $b = 4$ ，所以 $n^{\log_b a} = n^{\log_4 2} = n^{1/2} = \sqrt{n}$ 。
a. $f (n) = 1$ ，因为存在 $\epsilon = 1/4$ ，有 $O(n^{1/2 - \epsilon})$ ，情况 ① 适用，所以 $\Theta(\sqrt{n})$ 。
b. $\sqrt{n}$ ，情况 ② 适用，因为 $\Theta(\sqrt{n})$ ，所以 $\sqrt{n}\lg n$ 。
c. $f (n) = n$ ，存在 $\epsilon = 1/2$ ，有 $\Omega(n^{1/2+\epsilon})$ ，
且对于足够大的 $n$ ，有 $\le (1/2)f(n)$ ，存在 $c = 1 / 2$ 。
因此，情况 ③ 适用，所以 $\Theta(n)$ 。
d. $f(n) = n^2$ ，存在 $\epsilon = 1$ ，有 $\Omega(n^{1/2+\epsilon})$ ，
且对于足够大的 $n$ ，有 $2(n/4)^2 = (1/8)n^2 \le (1/8)f(n)$ ，存在 $c = 1 / 8$ 。
因此，情况 ③ 适用，所以 $\Theta(n^2)$ 。

4.5-2 Caesar 教授想要开发一个比 Strassen 算法渐近更快的矩阵相乘算法。他的算法将使用分治方法，将每个矩阵分割成 $n/4 \times n/4$ 的子矩阵，分割和结合步骤花费 $\Theta(n^2)$ 时间。为了打败 Strassen 算法，他需要确定他的算法需要创建多少个子问题。如果他的算法创建 $a$ 个子问题，那么运行时间 $T (n)$ 的递归式为 $\Theta(n^2)$ 。Caesar 教授的算法要比 Strassen 算法渐近更快， $a$ 的最大整数值是多少？
解： Strassen 算法的运行时间为 $\Theta(n^{\lg7})$ 。 $\lg7 < 2.81$ 。
使用主方法解递归式 $\Theta(n^2)$ ，比较 $n^{2}$ 与 $n^{\log_4 a}$ 。
a. 如果 $log_4 a = 2$ ，符合情况②， $\Theta(n^2\lg n)$ 。此时， $a = 16$ ， $T(n) = o(n^{\lg7})$ 。（因为 $lg n = o(n^{0.8})$ ）
b. 如果 $log_4 a < 2$ ，符合情况③， $\Theta(n^2)$ 。此时， $a < 16$ ， $T(n) = o(n^{\lg7})$ 。
c. 如果 $log_4 a > 2$ ，符合情况①， $\Theta(n^{\log_4 a})$ 。此时， $a > 16$ 。当 $log_4a < \lg7$ 时， $a < 49$ ， $T(n) = o(n^{\lg7})$ 。 $a$ 的最大值为 48。
综上， $a$ 的最大整数值为 48，比 Strassen 算法渐近更快。

4.5-3 使用主方法证明二分递归式 $\Theta(1)$ 的解是 $\Theta(\lg n)$ 。（见练习 2.3-5 二分查找的描述。）
证： $a = 1$ ， $b = 2$ ， $\Theta(1)$ 。所以有 $n^{\log_ba} = n^{\log_2 1} = n^0 = 1$ 。
情况②适用，因为 $\Theta(1)$ ，所以 $\Theta(\lg n)$ 。

4.5-4 主方法可以应用到递归式 $T(n) = 4T(n/2) + n^2\lg n$ 吗？为什么？给出一个该递归式的渐近上界。
解：不可以。
$a = 4$ ， $b = 2$ ， $f(n) = n^2\lg n$ 。所以， $n^{\log_ba} = n^{\log_2 4} = n^2$ 。
$f (n)$ 渐近大于 $n^2$ ，不符合情况①和②。
对于情况③，对于任何正常数 $\epsilon$ ，比值 $f(n)/n^{\log_ba} = \lg n$ 渐近小于 $n^{\epsilon}$ 。所以， $f (n)$ 多项式小于 $n^{\log_b a}$ 。
因此，这个递归式落入情况②和③之间。该递归式与主定理中的 3 个方法均不符合。、

使用递归树方法猜测递归树的渐近上界。
一共有 $\lg n$ 层。每层代价如下：
第 1 层： $n^2\lg n$
第 2 层： $4(n/2)^2\lg(n/4) = n^2 \lg(n/4) = n^2(\lg n - 2)$
……
第 $i$ 层： $n^2 \lg(n/(2^i)) = n^2(\lg n - i)$

将所有层次的代价加起来，得 $\le n^2 \lg n \cdot \lg n$ 。
给出渐近上界： $O(n^2 \lg^2n)$ 。

4.5-5 $\bigstar$ 考虑正则条件 $\le cf(n)$ ，其中常数 $c < 1$ ，这是主定理情况3 的部分。给出一个例子，满足以下情况：常数 $a\ge1$ 和 $b > 1$ ，一个满足主定理情况3 中除了正则条件外所有条件的函数 $f (n)$ 。
解：例子： $f(n) =2T(n/2) + 2^n$ 。

$a = 2$ ， $b = 2$ ， $f(n) = 2^{n}$ ，所以 $n^{\log_ba} = n^{\log_2 2} = n$ 。
$2\cdot 2^{n-1} = 2^{n} > c\cdot 2^n = c\cdot f(n)$ ，对于所有的 $c < 1$ 。不满足正则条件，符合题意。