主定理 master theorem

如果有如下递归推倒式

$$T(n) = aT(\frac{n}{b}) + f(n)$$
$n>0$, 根据 $a$, $b$, $f(n)$分析算法复杂度

---

首先我们可以理解一下$a$, $b$, $n$, $f(n)$的含义

• $n$: 问题规模
• $\frac{n}{b}$: 子问题规模
• $a$: 子问题数量
• $f(n)$: 递推以外额外的工作量

---

我们先看一个简单的例子， $T(n) = \mathop{\sum}\limits_{i=1}^ni$， 如果把它写成上面的递归推导式， 满足$T(n) = aT(\frac{n}{a})$ 更详细地表示：

$$\mathop{\sum}\limits_{i=1}^{100}i = \mathop{\sum}\limits_{i=1}^{10}i + \mathop{\sum}\limits_{i=11}^{20}i + ... +\mathop{\sum}\limits_{i=91}^{100}i$$
每个子问题规模是原问题的 $\frac{1}{10}$， 但是子问题数量也变成了10倍

---

如果不考虑$f(n)$， $T(n) = aT(\frac{n}{b})$, 我们考虑下a和b之间的大小,

• 如果$a=b$, 采用递归后总问题规模不变
• 如果$a<b$, 采用递归后总问题规模变小
• 如果$a>b$, 采用递归后总问题规模变大

这个指标可以用$\log_b^a$来衡量

---

设$k = \log_b^n$展开递推式：

$$T(n) = a^kT(1) + \mathop{\sum}\limits_{j=0}^{k-1}a^jf\left(\frac{n}{b^j}\right)$$
只考虑 $f(n)$为多项式的情况，设 $f(n) = cn^d$
$$T(n) = a^kT(1) + c\mathop{\sum}\limits_{j=0}^{k-1}a^j\left(\frac{n}{b^j}\right)^d$$

---

在$f(n) = cn^d$设定的基础上， 考虑一种特殊情况， $log_b^a = d$, 即$a = b^d$

$$T(n) = b^{dk}T(1) + c\mathop{\sum}\limits_{j=0}^{k-1}b^{dj}\left(\frac{n}{b^j}\right)^d$$
$$T(n) = b^{dk}T(1) + c\mathop{\sum}\limits_{j=0}^{k-1}n^d$$
$$T(n) = b^{dlog_b^n}T(1) + ckn^d$$
$$T(n) =n^dT(1) + cn^dlog_b^n$$
$$T(n) =n^dT(1) + \frac{c}{\lg b}n^d\lg n$$
所以 $T(n) = \Theta(n^d\lg n)$

---

在$f(n) = cn^d$设定的基础上， 对一般情况， 展开表达式:

$$T(n) = a^kT(1) + c\mathop{\sum}\limits_{j=0}^{k-1}a^j\left(\frac{n}{b^j}\right)^d$$
$$T(n) = a^kT(1) + c\mathop{\sum}\limits_{j=0}^{k-1}n^d\left(\frac{a}{b^d}\right)^{j}$$
利用等比数列求和公式可以得到
$$T(n) = a^kT(1) + cn^d\frac{\frac{a}{b^d}\left(\frac{a}{b^d}\right)^{k-1}-1}{\frac{a}{b^d}-1}$$
$$T(n) = a^k\left(T(1) + \frac{b^d}{a-b^d}\right) + cn^d\frac{b^d}{a-b^d}$$
$$T(n) = \left(T(1) + \frac{b^d}{a-b^d}\right)n^{log_b^a} + \frac{cb^d}{a-b^d}n^d$$

可以看到$T(n) = max(O(n^d), O(n^{log_b^a}))$

• 当 $\log_b^a<d$: $T(n) = O(n^d)$
• 当 $\log_b^a = d$: $T(n) = O(n^d\lg n)$
• 当 $\log_b^a>d$: $T(n) = O(n^{log_b^a})$

---

更一般的情况请看维基百科页面 Master theorem

---

回到例子 $T(n) = \mathop{\sum}\limits_{i=1}^ni$，它可以表示为 $T(n) = aT\left(\frac{n}{a}\right)$，所以它的复杂度为$O\left(n^{\log_a^a}\right) = O(n)$
再如快速排序，它可以表示为$T(n) = 2T\left(\frac{n}{2}\right) + O(n)$所以它的复杂度为$n\lg n$