[主定理证明]递归算法时间复杂度怎么算？

分治算法

分治算法强调递归的求解一个问题，每个递归都有三个步骤：

• 分解：将问题分解为子问题，子问题规模$<$原问题规模；
• 解决：解决递归最底层无法分解的子问题；
• 合并：将已解决的最小问题递归至上一层直至到根节点。

递归式

递归式是描述分治算法的一个等式或不等式，例如归并排序递归式为：
$$T(n)=\{\begin{array}{rlr}& \Theta (1)& n=1\\ & 2T(\frac{n}{2})+\Theta (n)& n>1\end{array}$$
解释为：$n>1$时将原问题分治为两个原问题一半的子问题，$n=1$时使用常数时间解决问题。

实际运用是可能会忽略很多问题比如说归并排序数组长度为大于1的奇数子问题将会归结为：
$$T(n)=T(\lceil \frac{n}{2}\rceil )+T(\lfloor \frac{n}{2}\rfloor )+\Theta (n)$$
但改变幅度不会超过常数因子，因此不作为考虑内容。

主定理方法

主方法为求解递归式时间复杂度提供了一种通用解法，主方法求解依赖于主定理。

定理描述：

令$a\ge 1$和$b>1$为常数，$f(n)$为函数，$T(n)$是定义在非负整数上的递归式：
$$T(n)=aT(\frac{n}{b})+f(n)$$
其中分解的子问题规模也可以解释为$\lceil \frac{n}{b}\rceil$或$\lfloor \frac{n}{b}\rfloor$，$T(n)$的渐进界为：

1. 若对某常数$ϵ>0$，有$f(n)=O(n^{lo{g}_{b}a-ϵ})$，则$T(n)=\Theta (n^{lo{g}_{b}a})$。
2. 若$f(n)=\Theta (n^{lo{g}_{b}a})$，则$T(n)=\Theta (n^{lo{g}_{b}a}lgn)$。
3. 若对某常数$ϵ>0$，有$f(n)=\Omega (n^{lo{g}_{b}a+ϵ})$，且对某常数$c<1$和足够大的$n$有$af(\frac{n}{b})\le cf(n)$，则$T(n)=\Theta (f(n))$。

但要注意，主定理没有覆盖到全部可能，若$f(n)$不符合情况2且找不到合理的常数$ϵ$使得情况1或3成立时，这种情况将无法使用主定理求解，例如：

例1：$T(n)=T(n-1)+n$，这种情景使用递归树可以得出结果为$O(n^2)$。

例2：$T(n)=2T(\frac{n}{2})+nlogn$，$f(n)=nlogn$找不到合理的$ϵ$使得$f(n)=\Omega (n^{1+ϵ})$成立，但通过递归树方法可得到结果为$\Omega (nlo{g}^{2}n)$。

证明主定理

证明将参考算法导论中方法，分两步解决：

1. 对$n$为$b$的幂次进行证明；
2. 扩展至全部正整数。

两步证明考虑的原因可能是上述提及到的归并排序现象，不是每一次迭代都是完整的，但考虑太过于全面不仅会复杂化证明过程，而且只会相比原始结果有常数因子的出入，不会影响整体算法时间复杂度。

$n$为$b$的幂次

$$T(n)=aT(\frac{n}{b})+f(n)$$
因为每一个无法直接解决的问题都需要被分解为$a$个子问题，由于第一步证明所要求的$n$的值，问题生成的递归树将是完整的"满$a$叉树"，高度则为$lo{g}_{b}n$，叶子节点为$a^{lo{g}_{b}n}$，上下替换元素即得$n^{lo{g}_{b}a}$。

所以递归式的答案可以表示为非递归结构：
$$T(n)=\Theta (n^{lo{g}_{b}a})+\sum _{j=0}^{lo{g}_{b}n-1}{a}^{j}f(\frac{n}{b^j})$$
前一项计算叶子结点的复杂度，后一项则为从根节点层序计算每层的函数时间复杂度。换句话说表达的是叶子节点计算代价+分解与合并子问题的代价。

现在需要考虑的问题是将任意一个非叶子节点看作根节点，这都将是一个完整的分治问题的递归树，所以在固定问题中每一层的计算代价不会无规律的变化，复杂度的分布只会有三种情况：

• 从树根到叶子每一层来看复杂度越来越高；
• 从根节点到叶子节点每层来看复杂度排布均匀；
• 从树根到叶子每一层来看复杂度越来越低；

届时我们需要考虑总体递归式的算法时间复杂度将由这两项决定，因为叶子节点已经完全确定了复杂度的渐进紧确界，无非对应上述描述的就是三种情况：

• 整体代价叶子节点决定
• 整体代价均匀分布
• 整体代价根节点决定

现在做$g(n)={\sum }_{j=0}^{lo{g}_{b}n-1}{a}^{j}f(\frac{n}{b^j})$，那么三种情况由确定的叶子节点紧确界作为比较对象：

1. 若存在$ϵ>0$有$f(n)=O(n^{lo{g}_{b}a-ϵ})$，那么：
   $$\begin{array}{rl}g(n)& =O(\sum _{j=0}^{lo{g}_{b}n-1}{a}^j(\frac{n}{b^j}{)}^{lo{g}_{b}a-ϵ})\\ & =O(n^{lo{g}_{b}a-ϵ}\sum _{j=0}^{lo{g}_{b}n-1}{a}^j(\frac{1}{b^{lo{g}_{b}a-ϵ}}{)}^j)\\ & =O(n^{lo{g}_{b}a-ϵ}\sum _{j=0}^{lo{g}_{b}n-1}(\frac{a}{a\ast b^{-ϵ}}{)}^j)\\ & =O(n^{lo{g}_{b}a-ϵ}\sum _{j=0}^{lo{g}_{b}n-1}{b}^{ϵj})\\ & =O(n^{lo{g}_{b}a-ϵ}(\frac{b^{ϵlo{g}_{b}n}-1}{b^{ϵ}-1}))\\ & =O(n^{lo{g}_{b}a-ϵ}(\frac{n^{ϵ}-1}{b^{ϵ}-1}))\\ & =O(n^{lo{g}_{b}a-ϵ}{n}^{ϵ})\\ & =O(n^{lo{g}_{b}a})\end{array}$$
   得到$g(n)=O(n^{lo{g}_{b}a})$

2. 若$f(n)=\Theta (n^{lo{g}_{b}a})$，那么类似的：
   $$\begin{array}{rl}g(n)& =\Theta (\sum _{j=0}^{lo{g}_{b}n-1}{a}^j(\frac{n}{b^j}{)}^{lo{g}_{b}a})\\ & =\Theta (n^{lo{g}_{b}a}\sum _{j=0}^{lo{g}_{b}n-1}{a}^j(\frac{1}{b^{lo{g}_{b}a}}{)}^j)\\ & =\Theta (n^{lo{g}_{b}a}\sum _{j=0}^{lo{g}_{b}n-1}1)\\ & =\Theta (n^{lo{g}_{b}a}lo{g}_{b}n)\\ & =\Theta (n^{lo{g}_{b}a}lgn)\end{array}$$
   得到$g(n)=\Theta (n^{lo{g}_{b}a}lgn)$

3. 根节点决定复杂度表示：常数$c<1$和足够大的$n$有$af(\frac{n}{b})\le cf(n)$，所以：
   $$\begin{array}{rl}& af(\frac{n}{b})\le cf(n)\\ & f(\frac{n}{b})\le \frac{c}{a}f(n)\\ & ...\\ & f(\frac{n}{b^j})\le (\frac{c}{a}{)}^{j}f(n)\\ & a^{j}f(\frac{n}{b^j})\le c^{j}f(n)\\ g(n)& =\Omega (f(n))\\ g(n)& =\sum _{j=0}^{lo{g}_{b}n-1}{a}^{j}f(\frac{n}{b^j})\\ & \le \sum _{j=0}^{lo{g}_{b}n-1}{c}^{j}f(n)\\ & \le f(n)\sum _{j=0}^{\infty }{c}^j+O(1)\\ & \le f(n)\frac{1}{1-c}+O(1)\\ & =O(f(n))\end{array}$$
   得到$g(n)=\Theta (f(n))$

归结后得到上述主方法的三种情况的结果，因为

• 情况1：
  $$\begin{array}{rl}T(n)& =\Theta (n^{lo{g}_{b}a})+O(n^{lo{g}_{b}a})\\ & =\Theta (n^{lo{g}_{b}a})\end{array}$$

• 情况2：
  $$\begin{array}{rl}T(n)& =\Theta (n^{lo{g}_{b}a})+\Theta (n^{lo{g}_{b}a}lgn)\\ & =\Theta (n^{lo{g}_{b}a}lgn)\end{array}$$

• 情况3：
  $$\begin{array}{rl}T(n)& =\Theta (n^{lo{g}_{b}a})+\Theta (f(n))\\ & =\Theta (f(n))\end{array}$$

向上向下取整

上述证明仅仅针对了$n$为$b$的幂次考虑，为了扩展所以得到了递归式上界和下界为：
$$\begin{array}{rl}\lceil T(n)\rceil & =aT(\lceil \frac{n}{b}\rceil )+f(n)\\ \lfloor T(n)\rfloor & =aT(\lfloor \frac{n}{b}\rfloor )+f(n)\end{array}$$
向上取整与向下取整分别证明的是递归式的时间复杂度上界与下界，由于是对称证明，所以描述向上过程，其中证明分为两步：

• 证明问题规模会向上增加常数规模
• 证明三种情景的向上取整结果

增加常数规模

每层的调用参数为：
$$n_j=\{\begin{array}{rlr}& n& j=0\\ & \lceil \frac{n_{j-1}}{b}\rceil & j>0\end{array}$$
利用$\lceil x\rceil =x+1$得到：
$$\begin{array}{rl}{n}_0& \le n\\ n_1& \le \frac{n}{b}+1\\ n_2& \le \frac{n}{b^2}+\frac{1}{b}+1\\ & ...\\ n_j& \le \frac{n}{b^j}+\sum _{j=0}^{j-1}\frac{1}{b^j}\\ & \le \frac{n}{b^j}+\sum _{j=0}^{\infty }\frac{1}{b^j}\\ & \le \frac{n}{b^j}+\frac{b}{b-1}\end{array}$$
因为向上取整描述的是问题每一层分治向上取整，则递归树高度将向下取整为$\lfloor lo{g}_{b}n\rfloor$，最后一层的叶子节点数量为：
$$\begin{array}{rl}{n}_{\lfloor lo{g}_{b}n\rfloor }& <\frac{n}{b^{\lfloor lo{g}_{b}n\rfloor }}+\frac{b}{b-1}\\ & <\frac{n}{b^{lo{g}_{b}n-1}}+\frac{b}{b-1}\\ & =b+\frac{b}{b-1}=O(1)\end{array}$$
上述证明了最底层的根节点参数至多是常数个所以可以证明问题的规模没有发生非常数的增加。

重现三种情况

向上取整后递归式的计算式展开为：
$$T(n)=\Theta (n^{lo{g}_{b}a})+\sum _{j=0}^{\lfloor lo{g}_{b}n\rfloor -1}{a}^{j}f(n_j)$$
其中
$$g(n)=\sum _{j=0}^{\lfloor lo{g}_{b}n\rfloor -1}{a}^{j}f(n_j)$$
三类情况做阐述：

• 情况3：
  $$\begin{array}{rl}& n>b+\frac{b}{b-1}\\ & af(\lceil \frac{n}{b}\rceil )\le cf(n)\\ & ...\\ & a^{j}f(n_j)\le c^{j}f(n)\\ g(n)& =\Omega (f(n))\\ g(n)& =\sum _{j=0}^{\lfloor lo{g}_{b}n\rfloor -1}{a}^{j}f(n_j)\\ & \le \sum _{j=0}^{\lfloor lo{g}_{b}n\rfloor -1}{c}^{j}f(n)\\ & \le f(n)\sum _{j=0}^{\infty }{c}^j+O(1)\\ & \le f(n)\frac{1}{1-c}+O(1)\\ & =O(f(n))\\ \therefore & g(n)=\Theta (f(n))\end{array}$$

• 情况2：
  $$\begin{array}{rl}\because f(n)& =\Theta (n^{lo{g}_{b}a})\\ \therefore f(n)& =O(n^{lo{g}_{b}a})\\ f(n)& \le c(\frac{n}{b^j}+\frac{b}{b-1}{)}^{lo{g}_{b}a}\\ & =c(\frac{n}{b^j}(1+\frac{b^j}{n}\frac{b}{b-1}){)}^{lo{g}_{b}a}\\ & =c(\frac{n}{b^j}{)}^{lo{g}_{b}a}(1+\frac{b^j}{n}\frac{b}{b-1}{)}^{lo{g}_{b}a}\\ \because & j\le \lfloor lo{g}_{b}n\rfloor \\ \therefore & \frac{b^j}{n}\le 1\\ & \le c(\frac{n^{lo{g}_{b}a}}{a^j})(1+\frac{b}{b-1}{)}^{lo{g}_{b}a}\\ & =O(\frac{n^{lo{g}_{b}a}}{a^j})\\ & \\ g(n)& =O(\sum _{j=0}^{\lfloor lo{g}_{b}n\rfloor -1}{a}^j(\frac{n^{lo{g}_{b}a}}{a^j})\\ & =O(n^{lo{g}_{b}a}\sum _{j=0}^{\lfloor lo{g}_{b}n\rfloor -1}1)\\ & =O(n^{lo{g}_{b}a}lo{g}_{b}n)\\ & =O(n^{lo{g}_{b}a}lgn)\end{array}$$

• 情况1：类似情况2很容易推出$f(n_j)=O((\frac{n}{b^j}{)}^{lo{g}_{b}a-ϵ})$，之后得：
  $$\begin{array}{rl}g(n)& =O(\sum _{j=0}^{\lfloor lo{g}_{b}n\rfloor -1}{a}^j(\frac{n}{b^j}{)}^{lo{g}_{b}a-ϵ}\\ & =O(n^{lo{g}_{b}a-ϵ}\sum _{j=0}^{\lfloor lo{g}_{b}n\rfloor -1}{b}^{ϵj})\\ & ...\\ & =O(n^{lo{g}_{b}a})\end{array}$$

如此得出向上取整的三种情况的解。

情况3的弱条件

情况3中的：对某常数$c<1$和足够大的$n$有$af(\frac{n}{b})\le cf(n)$成立时就意味着对某常数$ϵ>0$，有$f(n)=\Omega (n^{lo{g}_{b}a+ϵ})$。
$$\begin{array}{rl}af(\frac{n}{b})& \le cf(n)\\ f(\frac{n}{b})& \le \frac{c}{a}f(n)\\ & ...\\ f(\frac{n}{b^j})& \le (\frac{c}{a}{)}^{j}f(n)\\ f(n)& \le (\frac{c}{a}{)}^{j}f(b^{j}n)\\ & n=1\\ f(b^j)& \ge (\frac{a}{c}{)}^{j}f(1)\\ Let.& i=lo{g}_{b}n\\ f(n)& \ge (\frac{a}{c}{)}^{lo{g}_{b}n}f(1)\\ & \ge n^{lo{g}_b\frac{a}{c}}f(1)\\ & \ge n^{lo{g}_{b}a+ϵ}\\ & =\Omega (n^{lo{g}_{b}a+ϵ})\end{array}$$
参考算法导论练习*4.6-3