《算法导论》学习（五）---- 分治策略(递归)的时间复杂度求解

---

前言

求解递归式的时间复杂度是学习算法很重要的一部分
本文主要讲解了利用“主方法”来求解递归式的时间复杂度，并对其进行了一定程度上的逻辑证明

---

一、用主方法求解递归式

（1）递归式的一般形式

$$T(n)=aT(n/b)+f(n)，其中a⩾1和b⩾1是常数$$
该一般形式描述的是分治策略算法的运行时间：

该算法将规模为n的问题分解为a个子问题，每个子问题规模为n/b，其中a和b都是常数。a个子问题递归地进行求解，每个花费时间$T(n/b)$。函数$f(n)$包含了问题分解和子问题解合并的代价。

（2）主方法

$令a⩾1和b⩾1是常数，f(n)是一个函数，T(n)是定义在非负整数上的递归式：$
$$T(n)=aT(n/b)+f(n)$$
$其中我们将n/b解释为\lfloor n/b\rfloor 或者\lceil n/b\rceil 。那么T(n)有如下渐进界：$
$1.若对某个常数\epsilon >0有f(n)=O(n^{lo{g}_{b}a-\epsilon })，则T(n)=\Theta (n^{lo{g}_{b}a})$
$2.若f(n)=\Theta (n^{lo{g}_{b}a})，则T(n)=\Theta (n^{lo{g}_{b}a}lgn)$
$3.若对某个常数\epsilon >0有f(n)=\Omega (n^{lo{g}_{b}a+\epsilon }),且对某个常数c<1和所有足够大的n有af(n/b)⩽cf(n)，则T(n)=\Theta (f(n))$

（3）理解主方法

对于三种情况的每一种，我们将函数$f(n)$与函数$n^{lo{g}_{b}a}$进行比较。直觉上，两个函数较大者决定了递归式的解。若函数$n^{lo{g}_{b}a}$更大，如情况1，则解为$T(n)=\Theta (n^{lo{g}_{b}a})$。如函数$f(n)$更大，如情况3，则解为$T(n)=\Theta (f(n))$。若两个函数大小相当，如情况2，则乘上一个对数因子，解为$T(n)=\Theta (n^{lo{g}_{b}a}lgn)=\Theta (f(n)lgn)$

再此直觉之外，我们需要了解：$f(n)与n^{lo{g}_{b}a}的比较，是在多项式意义上的比较，需要渐进小于，大于$

那么我们可以发现，这三种情况并未覆盖$f(n)$的所有可能性。情况1与情况2，情况2与情况3之间都有间隙，这归根结底是多项式层面的小于大于导致的。这时就不能通过主方法来求解递归式。

二、利用主方法求解一些实例

(1)例子1

$$T(n)=9T(n/3)+n$$
对于递归式，我们有：$a=9,b=3,f(n)=n,因此n^{lo{g}_{b}a}=n^{lo{g}_{3}9}=\Theta (n^2)$，又因为有$f(n)=n=O(n^{lo{g}_{3}9-\epsilon })$，所以满足主方法的情况1，因此$T(n)=\Theta (n^2)$

(2)例子2

$$T(n)=T(2n/3)+1$$
对于递归式，我们有：$a=1,b=3/2,f(n)=1,因此n^{lo{g}_{b}a}=n^{lo{g}_{\frac{3}{2}}1}=\Theta (1)$，又因为有$f(n)=1=\Theta (1)$，所以满足主方法的情况2，因此$T(n)=\Theta (lgn)$

(3)例子3

$$T(n)=3T(n/4)+nlgn$$
对于递归式，我们有：$a=3,b=4,f(n)=nlgn,因此n^{lo{g}_{b}a}=n^{lo{g}_{4}3}=\Theta (n^{0.793})$，又因为有$f(n)=nlgn=\Omega (n^{lo{g}_{4}3+\epsilon })$，如果满足正则条件成立，就可以满足主方法的情况3。当n足够大的时候，对于$c=3/4,af(n/b)=3(n/4)lg(n/4)⩽(3/4)nlgn=cf(n)$。因此$T(n)=\Theta (nlgn)$

(4)例子4

$$T(n)=2T(n/2)+nlgn$$
对于递归式，我们有：$a=2,b=2,f(n)=nlgn,因此n^{lo{g}_{b}a}=n^{lo{g}_{2}2}=\Theta (n)$。但是因为$f(n)=nlgn$并不是渐进大于n。因为$\frac{f(n)}{n^{lo{g}_{b}a}}=lgn,都渐进小于n^{\epsilon }$。因此递归式落入了情况2和情况3之间的间隙，无法用主方法解决。

(5)例子5

$$T(n)=2T(n/2)+\Theta (n)$$
这个递归式是最大和子数组问题和归并排序的算法运行时间描述。这里我们运用主方法求解：
$a=2,b=2,f(n)=\Theta (n),n^{lo{g}_{b}a}=n^{lo{g}_{2}2}=\Theta (n)=f(n)$，因此满足情况2，因此：
$T(n)=\Theta (nlgn)$

(6)例子6

$$T(n)=8T(n/2)+\Theta (n^2)$$
这个是矩阵乘法的普通递归算法的时间描述：
$a=8,b=2,f(n)=\Theta (n^2),那么n^{lo{g}_{b}a}=n^{lo{g}_{2}8}=\Theta (n^3),又因为f(n)=O(n^{lo{g}_{2}8-\epsilon })$，因此，$T(n)=\Theta (n^3)$

(7)例子7

$$T(n)=7T(n/2)+\Theta (n^2)$$
这个是矩阵乘法的Strassen(斯特拉森)算法的时间描述：
$a=7,b=2,f(n)=\Theta (n^2),那么n^{lo{g}_{b}a}=n^{lo{g}_{2}7},又因为2.80<lg7<2.81,因此若\epsilon =0.8,那么有f(n)=O(n^{lo{g}_{2}7-\epsilon })$，因此，$T(n)=\Theta (n^{lg7})$

---

总结

除了“主方法”之外，还有代入法，递归树两大方法。
例子5，6，7涉及的算法可以参考文章：
链接: 《算法导论》学习（三）---- 最大和子数组问题的分治方法
链接: 《算法导论》学习（四）---- 矩阵乘法的Strassen（斯特拉森）算法