【算法导论】第4章 分而治之 (3)

---

Introduction to Algorithms - Third Edition
Part I. Foundations
Chapter 4. Divide-and-Conquer

---

$★$ 4.6 主定理的证明

4.6.1 取正合幂时的证明

假设 $n$ 是 $b>1$ 的正合幂，其中 $b$ 不必是整数，分析主方法中的递归式 (4.20)
$T(n)=aT(n/b)+f(n)$。
将分析分成 3 个引理来说明。
第1个引理，将求解主递归式的问题，归约为对包含总和的表达式求值的问题。
第2个引理，确定这个总和的界限。
第3个引理，将前两个结合一起，证明：在 $n$ 是 $b$ 的正合幂的情况下，主定理成立。

引理 4.2
设 $a\ge 1$ 和 $b>1$ 是常数，设 $f(n)$ 是定义在 $b$ 的正合幂上的非负函数。在 $b$ 的正合幂上定义 $T(n)$：
$T(n)=\{\begin{array}{ll}\Theta (1)& \text{if }n=1\\ aT(n/b)+f(n)& \text{if }n=b^i\end{array}$
其中，$i$ 是正整数。则有
$T(n)=\Theta (n^{{\log }_{b}a})+{\sum }_{j=0}^{{\log }_{b}n-1}{a}^{j}f(n/b^j)$。     (4.21)

证明 使用递归树，如下图。树的根节点的代价是 $f(n)$，有 $a$ 个子节点，每个代价为 $f(n/b)$。
一般地，在第 $j$ 层，有 $a^j$ 个节点，每个代价为 $F(n/b^j)$。叶子节点的代价为 $T(1)=\Theta (1)$，且每个叶子节点在第 ${\log }_{b}n$ 层，因为 $n/b^{{\log }_{b}n}=1$。树上有 $a^{{\log }_{b}n}=n^{{\log }_{b}a}$ 个叶子节点。

将树上的每层节点的代价加起来。
所有内部节点的总代价为 ${\sum }_{j=0}^{{\log }_{b}n-1}{a}^{j}f(n/b^j)$。在基础的分治算法中，该总和表示将问题分成子问题然后重新组合子问题的代价。
所有叶子节点的代价是 $\Theta ({\log }_{b}a)$，表示解所有 $n^{{\log }_{b}a}$ 个大小为 1 的子问题的代价。

就递归树而言，主方法的三种情况对应于树中总代价的三种情况：①由叶子节点的代价决定；②均匀地分布在树的各个层次上；③由根节点的代价决定。

式 (4.21) 的总和表示基础分治算法中分解与合并步骤的代价。

引理 4.3
设 $a\ge 1$ 和 $b>1$ 是常数，设 $f(n)$ 是定义在 $b$ 的正合幂上的非负函数。函数 $g(n)$ 定义在 $b$ 的正合幂上：
$g(n)={\sum }_{j=0}^{{\log }_{b}n-1}{a}^{j}f(n/b^j)$     (4.22)
对 $b$ 的正合幂，有下面的渐近界：

1. 如果存在常数 $ϵ>0$，有 $f(n)=O(n^{{\log }_{b}a-ϵ})$，那么 $g(n)=O(n^{{\log }_{b}a})$。
2. 如果 $f(n)=\Theta (n^{{\log }_{b}a})$，那么 $g(n)=\Theta (n^{{\log }_{b}a}\lg n)$。
3. 如果对于所有足够大的 $n$，存在常数 $c<1$，有 $af(n/b)\le cf(n)$，那么 $g(n)=\Theta (f(n))$。

证明 对于情况1，有 $f(n)=O(n^{{\log }_{b}a-ϵ})$，得出 $f(n/b^j)=O((n/b^j{)}^{{\log }_{b}a-ϵ})$。将其代入式 (4.22)，得
$g(n)=O({\sum }_{j=0}^{{\log }_{b}n-1}{a}^j(n/b^j{)}^{{\log }_{b}a-ϵ})$。     (4.23)

$$\begin{gathered} {\sum }_{j=0}^{{\log }_{b}n-1}{a}^j(n/b^j{)}^{{\log }_{b}a-ϵ}=n^{{\log }_{b}a-ϵ}{\sum }_{j=0}^{{\log }_{b}n-1}(a{b}^{ϵ}/b^{{\log }_{b}a}{)}^j \\ =n^{{\log }_{b}a-ϵ}{\sum }_{j=0}^{{\log }_{b}n-1}(b^{ϵ}{)}^j=n^{{\log }_{b}a-ϵ}(\frac{b^{ϵ{\log }_{b}n}-1}{b^{ϵ}-1}) \\ =n^{{\log }_{b}a-ϵ}(\frac{n^{ϵ}-1}{b^{ϵ}-1}) \end{gathered}$$
因为 $b$ 和 $ϵ$ 是常数，所以可将最后一个表达式写为 $n^{{\log }_{b}a-ϵ}O(n^{ϵ})=O(n^{{\log }_{b}a})$。
将该表达式代入式 (4.23)，得 $g(n)=O(n^{{\log }_{b}a})$，情况1 即证。

情况2，有 $f(n)=\Theta (n^{{\log }_{b}a})$，得 $f(n/b^j)=\Theta ((n/b^j{)}^{{\log }_{b}a})$。代入式 (4.22)，得
$g(n)=\Theta ({\sum }_{j=0}^{{\log }_{b}n-1}{a}^j(n/b^j{)}^{{\log }_{b}a})$。     (4.24)

${\sum }_{j=0}^{{\log }_{b}n-1}{a}^j(n/b^j{)}^{{\log }_{b}a}=n^{{\log }_{b}a}{\sum }_{j=0}^{{\log }_{b}n-1}(a/b^{{\log }_{b}a}{)}^j=n^{{\log }_{b}a}{\sum }_{j=0}^{{\log }_{b}n-1}1=n^{{\log }_{b}a}{\log }_{b}n$。

代入式 (4.24)，得 $g(n)=\Theta (n^{{\log }_{b}a}{\log }_{b}n)=\Theta (n^{{\log }_{b}a}\lg n)$，情况2 即证。

情况3，因为 $f(n)$ 出现在 $g(n)$ 的定义式 (4.22) 中，且 $g(n)$ 的所有项都非负，所以 $g(n)=\Omega (f(n))$ 对 $b$ 的正合幂成立。
将假设语句重写成 $f(n/b)\le (c/a)f(n)$，迭代 $j$ 次，得 $f(n/b^j)\le (c/a{)}^{j}f(n)$，假设迭代的值足够大，即假设 $n/b^{j-1}$ 足够大。

代入式 (4.22)，当$n$ 足够大这个假设不成立时，使用 $O(1)$ 项进行补偿。
$$\begin{gathered} g(n)={\sum }_{j=0}^{{\log }_{b}n-1}{a}^{j}f(n/b^j)\le {\sum }_{j=0}^{{\log }_{b}n-1}{c}^{j}f(n)+O(1) \\ \le f(n){\sum }_{j=0}^{\infty }{c}^j+O(1)=f(n)\frac{1}{1-c}+O(1)=O(f(n)) \end{gathered}$$，
因为 $c$ 是常数。因此，$g(n)=\Theta (f(n))$ 对于 $b$ 的正合幂成立，情况3 即证。

引理 4.4
设 $a\ge 1$ 和 $b>1$ 是常数，设 $f(n)$ 是定义在 $b$ 的正合幂上的非负函数。在 $b$ 的正合幂上定义 $T(n)$：
$T(n)=\{\begin{array}{ll}\Theta (1)& \text{if }n=1\\ aT(n/b)+f(n)& \text{if }n=b^i\end{array}$
其中，$i$ 是正整数。那么，对 $b$ 的正合幂，$T(n)$ 有下面的渐近界：

1. 如果存在常数 $ϵ>0$，有 $f(n)=O(n^{{\log }_{b}a-ϵ})$，那么 $T(n)=\Theta (n^{{\log }_{b}a})$。
2. 如果 $f(n)=\Theta (n^{{\log }_{b}a})$，那么 $T(n)=\Theta (n^{{\log }_{b}a}\lg n)$。
3. 如果对于所有足够大的 $n$，存在常数 $c<1$，有 $af(n/b)\le cf(n)$，那么 $T(n)=\Theta (f(n))$。

证明 使用引理 4.3 中的界，对引理 4.2 中的求和式 (4.21) 进行求值。
情况1，有 $T(n)=\Theta (n^{{\log }_{b}a})+O(n^{{\log }_{b}a})=\Theta (n^{{\log }_{b}a})$。
情况2，$T(n)=\Theta (n^{{\log }_{b}a})+\Theta (n^{{\log }_{b}a}\lg n)=\Theta (n^{{\log }_{b}a}\lg n)$。
情况3，$T(n)=\Theta (n^{{\log }_{b}a})+\Theta (f(n))=\Theta (f(n))$，因为 $f(n)=\Omega (n^{{\log }_{b}a+ϵ})$。

4.6.2 上取整函数和下取整函数

要完整证明主定理，需将分析扩展至，主递归式中出现上取整函数和下取整函数的情况，这样递归式定义在所有整数上。
下界：$T(n)=aT(\lceil n/b\rceil )+f(n)$     (4.25)
上界：$T(n)=aT(\lfloor n/b\rfloor )+f(n)$     (4.26)

考虑上界的情况：

在递归树中从上至下，其自变量 $n_j$ 可以表示为：
$n_j=\{\begin{array}{ll}n& \text{if }j=0\\ \lceil n_{j-1}/b\rceil & \text{if }j>0\end{array}$     (4.27)

确定深度 $k$，使 $n_k$ 是一个常数。使用不等式 $\lceil x\rceil \le x+1$，得
$n_0\le n$，
$n_1\le \frac{n}{b}+1$，
$n_2\le \frac{n}{b^2}+\frac{1}{b}+1$，
……
$n_j\le \frac{n}{b^j}+{\sum }_{i=0}^{j-1}\frac{1}{b^i}<\frac{n}{b^j}+{\sum }_{i=0}^{\infty }\frac{1}{b^i}=\frac{n}{b^j}+\frac{b}{b-1}$。

令 $j=\lfloor {\log }_{b}n\rfloor$，有 $n_{\lfloor {\log }_{b}n\rfloor }<\frac{n}{b^{\lfloor {\log }_{b}n\rfloor }}+\frac{b}{b-1}<\frac{n}{b^{{\log }_{b}n-1}}+\frac{b}{b-1}=\frac{n}{n/b}+\frac{b}{b-1}=b+\frac{b}{b-1}=O(1)$。
因此，在深度 $\lfloor {\log }_{b}n\rfloor$，问题规模为常数。

从上图中，得 $T(n)=\Theta (n^{{\log }_{b}a})+{\sum }_{j=0}^{\lfloor {\log }_{b}n\rfloor -1}{a}^{j}f(n_j)$。     (4.28)
与式 (4.21) 类似，但是 $n$ 可以是任意整数。
与引理 4.3 相似的证明方式，求值 $g(n)={\sum }_{j=0}^{\lfloor {\log }_{b}n\rfloor -1}{a}^{j}f(n_j)$。     (4.29)

情况3，如果对于 $n>b+b/(b-1)$，有 $af(\lceil n/b\rceil )\le cf(n)$，其中常数 $c<1$，那么 $a^{j}f(n_j)\le c^{j}f(n)$。因此，类似引理 4.3，对式 (4.29) 求值。

情况2，有 $f(n)=\Theta (n^{{\log }_{b}a})$。如果可以证明 $f(n_j)=O(n^{{\log }_{a}b}/a^j)=O((n/b^j{)}^{{\log }_{b}a})$，那么就能套用引理 4.3 的情况2 的证明。
由 $j\le \lfloor {\log }_{b}n\rfloor$，得 $b^j/n\le 1$。
由界 $f(n)=O(n^{{\log }_{b}a})$，得，存在常数 $c>0$，对所有足够大的 $n_j$，有
$$\begin{gathered} f(n_j)\le c(\frac{n}{b^j}+\frac{b}{b-1}{)}^{{\log }_{b}a}=c(\frac{n}{b^j}(1+\frac{b^j}{n}\cdot \frac{b}{b-1}){)}^{{\log }_{b}a}=c(\frac{n^{{\log }_{b}a}}{a^j})(1+\frac{b^j}{n}\cdot \frac{b}{b-1}{)}^{{\log }_{b}a} \\ \le c(\frac{n^{{\log }_{b}a}}{a^j})(1+\frac{b}{b-1}{)}^{{\log }_{b}a}=O(\frac{n^{{\log }_{b}a}}{a^j}) \end{gathered}$$，
因为 $c(1+b/(b-1))$ 是一个常数。
因此，情况2 即证。

情况1，关键在于证明界 $f(n^j)=O(n^{{\log }_{b}a-ϵ})$，与情况2 中对于部分的证明类似。

至此，证明了对于所有整数 $n$ 的主定理的上界，下界的证明类似。

练习

4.6-1 $★$ 在式 (4.27) 中，若 $b$ 是个正整数，而不是任意实数，给出 $n_j$ 的一个简单且准确的表达式。
解： 对于任意实数 $x\ge 0$ 和整数 $a,b>0$，有式 (3.4)，$\lceil \frac{\lceil x/a\rceil }{b}\rceil =\lceil \frac{x}{ab}\rceil$。则有
$n_0=n$，
$n_1=\lceil n/b\rceil$，
$n_2=\lceil n_1/b\rceil =\lceil n/b^2\rceil$，
……
一般地，$n_j=\lceil n/b^j\rceil$。

4.6-2 $★$ 证明：如果 $f(n)=\Theta (n^{{\log }_{b}a}{\lg }^{k}n)$，其中 $k>0$，那么，主定理中递归式的解为 $T(n)=\Theta (n^{{\log }_{b}a}{\lg }^{k+1}n)$。为简单起见，可以只对 $b$ 的整数幂分析。
证： 式 (4.21)，$T(n)=\Theta (n^{{\log }_{b}a})+{\sum }_{j=0}^{{\log }_{b}n-1}{a}^{j}f(n/b^j)$。

$$\begin{gathered} g(n)={\sum }_{j=0}^{{\log }_{b}n-1}{a}^{j}f(n/b^j)={\sum }_{j=0}^{{\log }_{b}n-1}{a}^j\Theta ((n/b^j{)}^{{\log }_{b}a}{\lg }^k(n/b^j)) \\ ={\sum }_{j=0}^{{\log }_{b}n-1}{a}^j\Theta ((n^{{\log }_{b}a}/a^j){\lg }^k(n/b^j)) \\ ={\sum }_{j=0}^{{\log }_{b}n-1}\Theta (n^{{\log }_{b}a}{\lg }^k(n/b^j)) \\ =\Theta (n^{{\log }_{b}a}){\sum }_{j=0}^{{\log }_{b}n-1}{\lg }^k(n/b^j) \end{gathered}$$

$h(n)={\sum }_{j=0}^{{\log }_{b}n-1}{\lg }^k(n/b^j)\le {\sum }_{j=0}^{{\log }_{b}n-1}{\lg }^{k}n={\log }_{b}n\cdot {\lg }^{k}n={\lg }^{k+1}n/\lg b$，其中 $\lg b$ 为常数。
所以，$h(n)=O({\lg }^{k+1}n)$。

$$\begin{gathered} h(n)={\sum }_{j=0}^{({\log }_{b}n-1)/2}{\lg }^k(n/b^j)+{\sum }_{j=({\log }_{b}n+1)/2}^{{\log }_{b}n-1}{\lg }^k(n/b^j) \\ \ge {\sum }_{j=0}^{({\log }_{b}n-1)/2}{\lg }^k(n/b^{({\log }_{b}n-1)/2}) \\ =(({\log }_{b}n-1)/2+1)\cdot {\lg }^k(n/b^{({\log }_{b}n-1)/2}) \\ =(({\log }_{b}n+1)/2)\cdot {\lg }^k((nb{)}^{1/2}) \\ =(({\log }_{b}n+1)/4)\cdot {\lg }^k(nb) \\ \ge (({\log }_{b}n+1)/4)\cdot {\lg }^{k}n=\frac{1}{4\lg b}{\lg }^{k+1}n+\frac{1}{4}{\lg }^{k}n \end{gathered}$$，
因为 $\frac{1}{4\lg b}$ 是常数，所以 $h(n)=\Omega ({\lg }^{k+1}n)$。

因此，$h(n)=\Theta ({\lg }^{k+1}n)$。
所以，$g(n)=\Theta (n^{{\log }_{b}a})\cdot h(n)=\Theta (n^{{\log }_{b}a}{\lg }^{k+1}n)$，即证。

4.6-3 $★$ 在定理中的情况3 中，正则条件 $af(n/b)\le cf(n)$ 对某些 $c<1$ 成立，蕴含存在常数 $ϵ>0$，有 $f(n)=\Omega (n^{{\log }_{b}a+ϵ})$。据此证明定理中的陈述过强。
证：
（未完成）

---

思考题

4-1 递归式的例子
给出下列递归式 $T(n)$ 的渐近上下界。假设 $n\le 2$ 时，$T(n)$ 是常数。使界尽量紧确，并证明。
a. $T(n)=2T(n/2)+n^4$
b. $T(n)=T(7n/10)+n$
c. $T(n)=16T(n/4)+n^2$
d. $T(n)=7T(n/3)+n^2$
e. $T(n)=7T(n/2)+n^2$
f. $T(n)=2T(n/4)+\sqrt{n}$
g. $T(n)=T(n-2)+n^2$

解： a. $T(n)=\Theta (n^4)$。使用主方法证明。
$a=2$，$b=2$，$f(n)=n^4$。有 $n^{{\log }_{b}a}=n$，存在 $ϵ=1$，有 $f(n)=\Omega (n^{1+ϵ})$。
$af(n/b)=2(n/2{)}^4=(1/8)n^4\le (1/8)f(n)$，存在 $c=1/8$。符合情况3。

b. $T(n)=\Theta (n)$。使用主方法证明。
$a=1$，$b=10/7$，$f(n)=n$。有 $n^{{\log }_{b}a}=n^0=1$，存在 $ϵ=1$，有 $f(n)=\Omega (n^{ϵ})$。
$af(n/b)=7n/10\le (7/10)f(n)$，存在 $c=7/10$。符合情况3。

c. $T(n)=\Theta (n^2\lg n)$。使用主方法证明。
$a=16$，$b=4$，$f(n)=n^2$。有 $n^{{\log }_{b}a}=n^2$，$f(n)=\Theta (n^{{\log }_{b}a})$，符合情况2。

d. $T(n)=\Theta (n^2)$。使用主方法证明。
$a=7$，$b=3$，$f(n)=n^2$。有 $n^{{\log }_{b}a}=n^{{\log }_{3}7}$，$1.77<{\log }_{3}7<1.78$。
存在 $ϵ=0.2$，有 $f(n)=\Omega (n^{{\log }_{3}7+ϵ})$。
$af(n/b)=7(n/3{)}^2\le (7/9)f(n)$，存在 $c=7/9$。符合情况3。

e. $T(n)=\Theta (n^{\lg 7})$。使用主方法证明。
$a=7$，$b=2$，$f(n)=n^2$。有 $n^{{\log }_{b}a}=n^{{\log }_{2}7}$，$2.80<{\log }_{2}7<2.81$。
存在 $ϵ=0.8$，有 $f(n)=O(n^{{\log }_{2}7-ϵ})$。符合情况1。

f. $T(n)=\Theta (\sqrt{n}\lg n)$。使用主方法证明。
$a=2$，$b=4$，$f(n)=\sqrt{n}$。有 $n^{{\log }_{b}a}=n^{1/2}$，$f(n)=\Theta (n^{{\log }_{b}a})$，符合情况2。

g. $T(n)=\Theta (n^3)$。使用递归树方法证明。

第 0 层：$n$ 个元素，代价为 $n^2$。
第 1 层：$n-2$ 个元素，代价为 $(n-2{)}^2=n^2-4n+4$。
……
第 $i$ 层：$n-2i$ 个元素，代价为 $(n-2i{)}^2=n^2-4in+4i^2$。

令 $n-2i=1$，得递归树共有 $(n-1)/2+1$ 层。
将所有层的代价相加，得
$$\begin{gathered} T(n)={\sum }_{i=0}^{(n-1)/2-1}(n^2-4in+4i^2)+\Theta (1) \\ =n^2(n-1)/2-4n{\sum }_{i=0}^{(n-3)/2}i+4{\sum }_{i=0}^{(n-3)/2}{i}^2+\Theta (1) \\ =n^2(n-1)/2-4n(\frac{((n-1)/2)\cdot ((n-3)/2)}{2})+4(\frac{((n-3)/2)\cdot ((n-1)/2)\cdot (n-2)}{6})+\Theta (1) \\ =n^3/6+n^2/2+n/3-1+\Theta (1) \\ =\Theta (n^3) \end{gathered}$$

4-2 参数传递的代价
在整本书中，假定过程调用时参数传递所花时间为常数，即使传递的是个包含 $N$ 个元素的数组。这个假设对于大多数系统是有效的，因为传递的不是数组本身，而是指向数组的指针。本题讨论三种参数传递策略：
①数组由指针来传递。时间 $=\Theta (1)$。
②数组通过复制来传递。时间 $=\Theta (N)$，其中 $N$ 是该数字的大小。
③数组被传递时，仅复制被调用过程可能访问的该数组的子域。若传递的是子数组 $A[p..q]$，时间 $=\Theta (q-p+1)$。
a. 考虑在一个已排序的数组中找一个数字的递归二分查找算法（见练习 2.3-5）。当使用上面三种方法传递数组时，给出二分查找的最坏情况运行时间的递归式，并给出其解的好的上界。设 $N$ 是原问题的规模，$n$ 是子问题的规模。
b. 针对 2.3.1 章节的 MERGE-SORT 算法，重做 (a) 部分。

解： a. 练习 2.3-5 中算法的运行时间为 $T(n)=T(n/2)+\Theta (1)$。
方法①，递归式为 $T(n)=T(n/2)+\Theta (1)$，其解为 $T(n)=\Theta (\sqrt{n})$。主方法情况1。
方法②，递归式为 $T(n)=T(n/2)+\Theta (N)$，其解为 $T(n)=\Theta (N\lg n)$。
递归树方法：共有 $\lg n+1$ 层，每层代价均为 $N$。
方法③，递归式为 $T(n)=T(n/2)+\Theta (n)$，其解为 $T(n)=\Theta (n)$。主方法情况3。

b. MERGE-SORT 算法的运行时间为 $T(n)=2T(n/2)+\Theta (n)$。
方法①，递归式为 $T(n)=2T(n/2)+\Theta (n)$，其解为 $T(n)=\Theta (n\lg n)$。主方法情况2。
方法②，递归式为 $T(n)=2T(n/2)+\Theta (N)+\Theta (n)$，其解为 $T(n)=\Theta (n\lg n)+\Theta (nN)$。
递归树方法：共有 $\lg n+1$ 层，第 $i$ 层代价为 $N\cdot 2^i+n$，其中 $i=0,1,...,\lg n-1$。最后一层代价为 $nN+n$。
总代价为
$$\begin{gathered} T(n)=N\cdot {\sum }_{i=0}^{\lg n-1}{2}^i+n\lg n+(nN+n)=(2^{\lg n}-1)N+n\lg n+(nN+n) \\ =2nN+n\lg n+n-N \end{gathered}$$。
方法③，递归式为 $T(n)=2T(n/2)+\Theta (n)$，其解为 $T(n)=\Theta (n\lg n)$。

4-3 更多递归式的例子
给出下列递归式 $T(n)$ 的渐近上下界。假设 $n$ 足够小时，$T(n)$ 是常数。使界尽量紧确，并证明。

a. $T(n)=4T(n/3)+n\lg n$

解： $T(n)=\Theta (n^{{\log }_{3}4})$。
递归树方法：共有 ${\log }_{3}n+1$ 层。每层代价如下：
第 0 层：$n\lg n$
第 1 层：$4(n/3)\lg (n/3)$
第 2 层：$4^2(n/3^2)\lg (n/3^2)$
……
第 $i$ 层：$(4/3{)}^{i}n(\lg n-i\cdot \lg 3)$

将所有层次的代价相加，得
$$\begin{gathered} T(n)=n\lg n\cdot {\sum }_{i=0}^{{\log }_{3}n-1}(4/3{)}^i-n\lg 3{\sum }_{i=0}^{{\log }_{3}n-1}i(4/3{)}^i+\Theta (n^{{\log }_{3}4}) \\ =n\lg n\cdot 3((4/3{)}^{{\log }_{3}n}-1)-n\lg 3(12-12n^{{\log }_{3}4}/n+3{\log }_{3}n\cdot n^{{\log }_{3}4}/n)+\Theta (n^{{\log }_{3}4}) \\ =-3n\lg n-12n\lg 3+12\lg 3\cdot n^{{\log }_{3}4}+\Theta (n^{{\log }_{3}4}) \\ =\Theta (n^{{\log }_{3}4}) \end{gathered}$$
$T(n)$ 的后一项是个差比数列。$1.26<{\log }_{3}4<1.27$。

b. $T(n)=3(n/3)+n/\lg n$

解： 上界：$T(n)=\Omega (n)$。下界：$T(n)=O(n\lg n)$。
递归树方法：共有 ${\log }_{3}n+1$ 层。最后一次代价为 $\Theta (n)$。
第 $i$ 层代价：$n/\lg (n/3^i)=n/(\lg n-i\lg 3)$，$i=0,1,...,{\log }_{3}n-1$。
$$\begin{gathered} T(n)={\sum }_{i=0}^{{\log }_{3}n-1}n/(\lg n-i\lg 3)+\Theta (n) \\ \ge {\sum }_{i=0}^{{\log }_{3}n-1}n/\lg n+\Theta (n)=n{\log }_{3}n/\lg n+\Theta (n)=n/\lg 3+\Theta (n) \end{gathered}$$，
因为 $1/\lg 3$ 是常数，所以 $T(n)=\Omega (n)$。
$T(n)\le {\sum }_{i=0}^{{\log }_{3}n-1}n/(\lg n-({\log }_{3}n-1)\lg 3)+\Theta (n)=n{\log }_{3}n/\lg 3+\Theta (n)=n\lg n/{\lg }^{2}3+\Theta (n)$。
所以，$T(n)=O(n\lg n)$。

c. $T(n)=4T(n/2)+n^2\sqrt{n}$

解： $T(n)=\Theta (n^2\sqrt{n})$。
主方法证明：$a=4$，$b=2$，$f(n)=n^2\sqrt{n}$，有 $n^{{\log }_{b}a}=n^2$。
存在 $ϵ=1/2$，有 $f(n)=\Omega (n^{2+ϵ})$。
$af(n/b)=4(n/2{)}^2\sqrt{n/2}=(1/\sqrt{2})n^2\sqrt{n}\le cf(n)$，存在 $c=1/\sqrt{2}$。情况3 符合。

d. $T(n)=3T(n/3-2)+n/2$

解：

e. $T(n)=2T(n/2)+n/\lg n$

解： 上界：$T(n)=\Omega (n)$。下界：$T(n)=O(n\lg n)$。
递归树方法：共有 $\lg n+1$ 层。最后一次代价为 $\Theta (n)$。
第 $i$ 层代价：$n/\lg (n/2^i)=n/(\lg n-i)$，$i=0,1,...,\lg n-1$。
与 (b) 类似。

f. $T(n)=T(n/2)+T(n/4)+T(n/8)+n$

解：

g. $T(n)=T(n-1)+1/n$

解：

h. $T(n)=T(n-1)+\lg n$

解： $T(n)=\Theta (n\lg n)$。
递归树方法：共有 $n$ 层。最后一层代价为 $\Theta (1)$。
每层代价为：$\lg (n-i)$，$i=0,1,...,n-2$。
$T(n)={\sum }_{i=0}^{n-2}\lg (n-i)+\Theta (1)\le (n-2)\lg n+\Theta (1)$，所以 $T(n)=O(n\lg n)$。
$T(n)\ge {\sum }_{i=0}^{(n-2)/2}\lg (n-i)\ge \frac{n-2}{2}\lg (n-(n-2)/2)=\frac{n-2}{2}(\lg (n+2)-1)\ge \frac{n-2}{2}(\lg n-1)$，所以 $T(n)=\Omega (n\lg n)$。

i. $T(n)=T(n-2)+1/\lg n$

解：

j. $T(n)=\sqrt{n}T(\sqrt{n})+n$

解： $T(n)=\Theta (n\lg \lg n)$。
递归树方法：令 $T(2)=\Theta (1)$，由 $n^{(1/2{)}^i}=2$，得 $i=\lg \lg n$。
所以递归树共有 $\lg \lg n+1$ 层，每层代价为 $n$。

4-4 斐波那契数（Fibonacci numbers）
递归式 (3.22) 定义了斐波那契数，本题阐述它的性质。我们将使用函数生成技术来求解斐波那契递归式。定义生成函数 [generating function]（或形式幂级数 [formal power series]）$\mathcal{F}$ 如下：
$$\mathcal{F}(z)=\sum _{i=0}^{\infty }{F}_i{z}^i=0+z+z^2+2z^3+3z^4+5z^5+8z^6+13z^7+21z^8+\cdots$$

其中，$F_i$ 是第 $i$ 个斐波那契数。

a. 证明：$\mathcal{F}(z)=z+z\mathcal{F}(z)+z^2\mathcal{F}(z)$。
b. 证明：$$\mathcal{F}(z)=\frac{z}{1-z-z^2}=\frac{z}{(1-\varphi z)(1-\hat{\varphi }z)}=\frac{1}{\sqrt{5}}(\frac{1}{1-\varphi z}-\frac{1}{1-\hat{\varphi }z})$$

其中，$\varphi =\frac{1+\sqrt{5}}{2}=1.61803\dots$，$\hat{\varphi }=\frac{1-\sqrt{5}}{2}=-0.61803\dots$。
c. 证明：$$\mathcal{F}(z)=\sum _{i=0}^{\infty }\frac{1}{\sqrt{5}}({\varphi }^i-{\hat{\varphi }}^i)z^i$$
d. 使用 (c) 部分证明，对于 $i>0$，有 $F_i={\varphi }^i/\sqrt{5}$，四舍五入到最近的整数。（提示：$|\hat{\varphi }|<1$。）

解：

4-5 芯片测试
Diogenes 教授有 $n$ 个被认为是相同的集成电路芯片，原则上它们可以相互测试。教授的测试夹具一次可容纳两个芯片。加载夹具后，每个芯片都会相互测试，并报告其好坏。一个好的芯片总是准确地报告另一个芯片的好坏，但是教授不能相信一个坏芯片的答案。因此，测试的四个可能结果如下：

A 芯片说	B 芯片说	结论
B 是好的	A 是好的	都是好的，或都是坏的
B 是好的	A 是坏的	至少有一个是坏的
B 是坏的	A 是好的	至少有一个是坏的
B 是坏的	A 是坏的	至少有一个是坏的

a. 证明：若超过 $n/2$ 个芯片是坏的，使用基于这种成对测试的任何策略，教授不能确定哪个芯片是好的。 假设坏的芯片可以联合欺骗教授。
b. 考虑问题，假设超过 $n/2$ 个芯片是好的，从 $n$ 个芯片中找出一个好的芯片。证明：$\lfloor n/2\rfloor$ 对测试足以使问题降至近原来规模的一半。
c. 证明：假设超过 $n/2$ 个芯片是好的，好的芯片可以使用 $\Theta (n)$ 对测试找出。给出描述测试次数的递归式，并求解。

证：

4-6 Monge 阵列
一个 $m\times n$ 实数阵列 $A$，如果对于所有的 $i$，$j$，$k$ 和 $l$，$1\le i<k\le m$ 和 $1\le j<l\le n$，有
$A[i,j]+A[k,l]\le A[i,l]+A[k,j]$，
那么，$A$ 是一个 Monge 阵列（Monge array）。
换言之，每当从 Monge 阵列中选择两行和两列，考虑行和列交叉处的 4 个元素，左上角和右下角元素的和小于或等于左下角和右上角元素的和。例如，下面是一个 Monge 阵列：
$\begin{array}{ccccc}10& 17& 13& 28& 23\\ 17& 22& 16& 29& 23\\ 24& 28& 22& 34& 24\\ 11& 13& 6& 17& 7\\ 45& 44& 32& 37& 23\\ 36& 33& 19& 21& 6\\ 75& 66& 51& 53& 34\end{array}$
a. 证明：一个阵列是 Monge 阵列，当且仅当对所有 $i=1,2,...,m-1$ 和 $j=1,2,...,n-1$，有
$A[i,j]+A[i+1,j+1]\le A[i,j+1]+A[i+1,j]$。
（提示：在“仅当”部分，对行、列分别使用归纳法。）
b. 下面的阵列不是 Monge 阵列。改变一个元素，把它变成 Monge 阵列。（提示：使用部分 (a)。）
$\begin{array}{cccc}37& 23& 22& 32\\ 21& 6& 7& 10\\ 53& 34& 30& 31\\ 32& 13& 9& 6\\ 43& 21& 15& 8\end{array}$
c. 设 $f(i)$ 是第 $i$ 行包含最左端最小值的列的索引值。证明：对任何 $m\times n$ 的 Monge 阵列，有 $f(1)\le f(2)\le ...\le f(m)$。
d. 以下是一个分治算法的描述，计算一个 $m\times n$ 的阵列 $A$ 的每一行的最左端的最小元素：
构造一个 $A$ 的子矩阵 $A^{\prime }$，包含 $A$ 的所有偶数行。递归地确定 $A^{\prime }$ 的每行的最左端最小值，接着计算 $A$ 的奇数行的最左端最小值。
解释如何在 $O(m+n)$ 时间内，计算 $A$ 的奇数行的最左端最小值（假设 $A$ 的偶数行的最左端最小值已知）。
e. 写出 (d) 部分所描述算法的运行时间的递归式。证明其解为 $O(m+n\log m)$。

解：

---

章节注记

从实践的角度来看，Strassen 算法通常不是矩阵乘法的选择方法，原因有 4 个：

1. 在 Strassen 算法的 $\Theta (n^{\lg 7})$ 运行时间中隐藏的常数因子，大于 SQUARE-MATRIXMULTIPLY 过程中 $\Theta (n^3)$ 时间中的常数因子。
2. 当矩阵稀疏时，为稀疏矩阵量身定制的方法会更快。
3. Strassen 算法在数值稳定上不如 SQUARE-MATRIXMULTIPLY。换句话说，由于计算机运算非整数值的精度有限，因此与 SQUARE-MATRIX-MULTIPLY 相比，在 Strassen 算法中累积的错误更大。
4. 在递归级别上形成的子矩阵会消耗空间。

后两个原因在 1990 年左右得到缓解。

一些研究人员给出了比主方法更广泛的解分治递归式的方法。Akra-Bazzi 方法适用于以下形式的递归式：
$T(x)=\{\begin{array}{ll}\Theta (1)& \text{if }1\le x\le x_0\\ {\sum }_{i=0}^k{a}_{i}T(b_{i}x)+f(x)& \text{if }x>x_0\end{array}$     (4.30)
其中，

• $x\le 1$ 是实数，
• $x_0$ 是常数，$x_0\ge 1/b_i$ 且 $x_0\ge 1/(1-b_i)$，对于 $i=1,2,...,k$，
• $a_i$ 是个正常数，对于 $i=1,2,...,k$，
• $b_i$ 是个常数，其范围为 $0<b_i<1$，对于 $i=1,2,...,k$，
• $k\ge 1$ 是个整数常数，
• $f(x)$ 是个非负函数，满足多项式增长条件（polynomial-growth condition）：存在正常数 $c_1$ 和 $c_2$，对于所有 $x\ge 1$，对于 $i=1,2,...,k$，和对于所有 $u$，$b_{i}x\le u\le x$，有 $c_{1}f(x)\le f(u)\le c_{2}f(x)$。（如果 $|f^{\prime }(x)|$ 通过 $x$ 的某些多项式确定上有界，那么 $f(x)$ 满足多项式增长条件。例如，对于任何实数常数 $\alpha$ 和 $\beta$，$f(x)=x^{\alpha }{\lg }^{\beta }x$ 满足该条件。）

主方法不能应用的递归式，如 $T(n)=T(\lfloor n/3\rfloor )+T(\lfloor 2n/3\rfloor )+O(n)$，但 Akra-Bazzi 方法可以。
要解递归式 (4.30)，首先找到实数 $p$，满足 ${\sum }_{i=1}^k{a}_i{b}_i^p=1$。（这个 $p$ 总是存在。）
这个递归式的解为
$$T(n)=\Theta (x^p(1+{\int }_1^x\frac{f(u)}{u^{p+1}}du))$$

Akra-Bazzi 方法可能有点难以使用，但可用于解决将问题划分为大小不等的子问题的递归式。主方法更易于使用，但仅在子问题大小相等时才适用。

---

学习笔记目录：【算法导论】目录