算法课不定期心得整理——一些递归式的求解心得

做作业遇到了一些有关递归树和主方法的使用，因为没有答案，苦苦思索了两天，幸而得到了灵感，对这两个方法的使用也似乎深入了一些，于是小有成就，想把解题过程记录下来，以供来者一起求索。

{递归树}

$T(n) = \sqrt n T(\sqrt n) + n$

看到 $\sqrt n$ 可能会想到使用代换，如令 $s=\sqrt n$ 然后再用 $s^2=n$ 来替换 $n$ ，然后将原式化为$T(s^2) = s T(s) + s^2$ 来求解，但是很难得到一个很紧确的假设。而且替换法需要同时求得紧确上界和下界，比较繁琐。

而递归树则能提供一个很清晰明白的解答，下图是递归式的演化过程。

从上图可以看出，根节点的代价为 $n$ , 它有 $\sqrt n$ 个子女，每个子女的代价是 $\sqrt n$ 或者写成 $n^{1/2}$ ，每个子女又各有$\sqrt {\sqrt n}$ 个子女，每个子女的代价是 $\sqrt {\sqrt n}$ 或者写成 $n^{1/4}$ 。在深度 $i$ 时，每个节点的代价为 $n^{1/{2^i}}$ 。当达到叶子节点时，由于每个叶子节点的代价都是 $\Theta (1)$ ，所以存在一个常数 $d$ 使 $n^{1/{2^i}}=d$ 时，说明达到了叶子节点，且得到深度为 $i = \lg {\log_d n}$ 。将每层的代价相加可以得到每层的代价为 $n$ 。最后将每层的代价与树高相乘，得到 $T(n) = \Theta ({n}{\lg {\log_d n}}) = \ ({n}{\lg {\lg n}})$ 。

{主方法的理解}

关于主函数的判别，利用高数的理解办法就是 $n^{\log_b a}$ 是否是 $f(n)$ 的 $\epsilon$ 阶无穷大（或者无穷小），就是求

$$\lim_{x\to\infty} \frac {n^{\log_b a}}{{n^{\epsilon}}f(n)}=\lim_{x\to\infty} \frac {n^{{\log_b a}-{\epsilon}}}{f(n)}=c$$ 是否成立，以及 $\epsilon$ 的取值。

接下来我们就对方法的三种情况进行解释：

CASE 1 : 若对某常数 $\epsilon > 0$ ，有 $f(n) = O(n^{{\log_b a}-{\epsilon}})$ ，则 $T(n) = \Theta (n^{\log_b a})$ ；

这里就可以用求极限的方式证明

$$\lim_{x\to\infty} \frac {n^{\log_b a}}{f(n)}=\lim_{x\to\infty}{n^{\epsilon}}$$
当 $\epsilon > 0$ 时，原极限趋向无穷，就是说 ${n^{\log_b a}}$ 是 ${f(n)}$ 的 $\epsilon$ 阶无穷大，因此也就可以得到 $T(n) = \Theta (n^{\log_b a})$ 。

例如 $T(n) = 3T(n/2) + n\lg n$

由 $a=3, b=2$ 得到 $n^{\log_b a} = n^{\log_2 3}$

$$\begin{align} \lim_{x\to\infty} \frac {n^{\log_2 3}}{n\lg n}&=\lim_{x\to\infty} \frac {n^{{\log_2 3}-1}}{\lg n} (\frac {\infty}{\infty}型，应用洛必达法则)\\ &=\lim_{x\to\infty} \frac {({{\log_2 3}-1})n^{{\log_2 3}-2}}{\frac {1}{n}}\\ &=\lim_{x\to\infty} {({{\log_2 3}-1})n^{{\log_2 3}-1}} \end{align}$$

这里甚至可以得到 $\epsilon = {\log_2 3}-1>0$ ，使 $f(n) = O(n^{{\log_b a}-{\epsilon}})$ ，因此有 $T(n) = \Theta (n^{\log_2 3})$ 。

CASE 2 : 若 $f(n) = \Theta(n^{{\log_b a}-{\epsilon}})$ ，则 $T(n) = \Theta (n^{\log_b a} \lg n)$ ；

这个情况比较简单，只需用求极限的方式证明

$$\lim_{x\to\infty} \frac {n^{{\log_b a}-\epsilon}}{f(n)}=c$$
即证明 $\epsilon=0$ ，或者说 $n^{{\log_b a}}$ 和 $f(n)$ 是同阶无穷小（无穷大），就可以得到 $T(n) = \Theta (n^{\log_b a} \lg n)$ 。

CASE 3 : 若对某常数 $\epsilon > 0$ ，有 $f(n) = \Omega(n^{{\log_b a}+{\epsilon}})$ ，且对常数 $c<1$ 与所有足够大的 $n$ ，有$af(n/b) \le cf(n)$ ，则 $T(n) = \Theta (f(n))$ ；

这里就可以用求极限的方式证明

$$\lim_{x\to\infty} \frac {n^{\log_b a}}{f(n)}=\lim_{x\to\infty}{n^{\epsilon}}$$
当 $\epsilon < 0$ 时，且对常数 $c<1$ 与所有足够大的 $n$ ，有$af(n/b) \le cf(n)$ ，可以得到 $T(n) = \Theta (f(n))$ 。

例如 $T(n) = 3T(n/4) + n\lg n$

由 $a=3, b=4$ 得到 $n^{\log_b a} = n^{\log_4 3}$

$$\begin{align} \lim_{x\to\infty} \frac {n^{\log_4 3}}{n\lg n}&=\lim_{x\to\infty} \frac {n^{{\log_4 3}-1}}{\lg n} \\ &=\lim_{x\to\infty} \frac {({{\log_4 3}-1})n^{{\log_4 3}-2}}{\frac {1}{n}}\\ &=\lim_{x\to\infty} {({{\log_4 3}-1})n^{{\log_4 3}-1}} \end{align}$$

这里可以得到 $\epsilon = {\log_4 3}-1<0$ ，但是为了符合定理中$f(n) = O(n^{{\log_b a}+{\epsilon}})$ 的表述，我们这里还是取 $\epsilon$ 的绝对值，即令$\epsilon = 1-{\log_4 3}>0$ 使 $f(n) = O(n^{{\log_b a}+{\epsilon}})$ 。又因为

$$\begin{align} af(n/b) &= 3{\frac{n}{4}}{\lg {\frac{n}{4}}}\\ &=3{\frac{n}{4}}{\lg n} - 3{\frac{n}{4}}{\lg 4}\\ &\le 3{\frac{n}{4}}{\lg n} \\ &= cn\lg n \end{align}$$
其中 $c=3/4 < 1$ 。因此有 $T(n) = \Theta (n\lg n)$ 。

CASE GAP

我们知道主方法的两个情况之间是存在“缝隙(gap)”的，也就是说当极限 $\lim_{x\to\infty} \frac {n^{\log_b a}}{f(n)}$ 不能得到一个常数或者形如 $n^{\epsilon}$ 的结果时，主方法就不再适用了。

例如 $T(n) = 2T(n/2) + n\lg n$

由 $a=2, b=2$ 得到 $n^{\log_b a} = n^{\log_2 2} = n$ ，然后有

$$\lim_{x\to\infty} \frac {n}{n\lg n}=\lim_{x\to\infty} \frac {1}{\lg n}$$

显然$\frac {1}{\lg n}$ 既不是一个常数也不是一个形如 $n^{\epsilon}$ 的结果，因此也就不满足任何一种情况了。