算法导论（二）--渐近符号 递归 和解法

基本渐近符号

O符号

首先看一个式子：$f(n)=O(g(n))$表示存在适当的常数c>0,和n₀>0使得$0\le f(n)\le c\cdot g(n)$，对于充分大的n>n₀成立。其实就是f(n)以g(n)为上界。举个例子：2n²=O(n³)，表示去掉左边的首项系数和低阶项，剩下的小于等于n³。这个等式并不对称，因为我们不能说n³=O(2n²)。
其实本质的想法就是f(n)属于g(n)构成的函数集。即定义O(g(n))为一个函数集，集合内的函数称为f(n)，上面的等号其实表示属于的意思。这是另一种定义方式： O ( g ( n ) ) = { f ( n ) : O(g(n))=\{f(n): O(g(n))={f(n):存在常数c>0,n₀>0，使得对所有的n>n₀，有$0\le f(n)\le c\cdot g(n)\}$。
再举个例子，f(n)=n³+O(n²)表示了一个误差界限，f(n)主要是n³，但是还有一些低阶项O(n²)。具体来说，即存在某函数h(n)在函数集O(n²)中，使得f(n)=n³+h(n)，总的来说，有低阶项，以某个常数乘以n²为上界，对足够大的n成立。
再举个例子，n²+O(n)=O(n²)，表示对任意的f(n)属于O(n)，都有h(n)属于O(n²)，使得n²+f(n)=h(n)。但是反之不成立。

Ω符号

O符号表示了运行时间的上界，但有时我们还需要下界，也就是Ω符号。和之前的相似， Ω ( g ( n ) ) = { f ( n ) : Ω(g(n))=\{f(n): Ω(g(n))={f(n):存在常数c>0,n₀>0，使得对所有的n>n₀，有$0\le c\cdot g(n)\le f(n)\}$。举个例子，$\sqrt{n}=\Omega (logn)$表示对于充分大的n，$\sqrt{n}$至少是logn的常数倍。

Θ符号

Θ ( g ( n ) ) = { f ( n ) : Θ(g(n))=\{f(n): Θ(g(n))={f(n):存在常数c₁>0, c₂>0, n₀>0，使得对所有的n>n₀，有$0\le c_1\cdot g(n)\le f(n)\le c_2\cdot g(n)\}$。举个例子，n²/2=Θ(n²)。

解递归式

解递归式就是找出递归式的解的渐近Θ或O界的方法。这就像解微分方程，没有一个通用的方法，而是有一堆方法，然后检验。下面是几种主流方法。

代换法

代换法可以用来确定一个递归式的上界或下界，主要思想是猜答案。我们不需要完全猜出来，不需要知道常数系数确切是多少，只需要猜它的形式，然后按照数学归纳法检验。

举例：求 $T(n)=4T(n/2)+n$ 的上界

• 猜想T(n)=O(n³)
  代换法中不能用O符号，因为如果有一条有穷的O关系序列，n²是O(n³)的，是O(n⁴)的，这样开始和最后就不一致了。比如你想证明n=O(1) ，这显然是错的。首先1=O(1)，然后归纳，假设n-1=O(1)，那就可以推出n=O(1)+1=O(1)。这是错误的证明，不能再O符号上进行归纳，因为这里的常数其实是依赖于n变化的。
  因此用常数展开，假设T(k)≤ck³,k<n。首先T(1)=Θ(1)≤c，然后计算T(n)。
  T(n)=4T(n/2)+n
  ≤4·c (n/2)³+n
  =1/2·c·n³+n
  =cn³-(1/2cn³-n)
  ≤cn³，c≥1,n≥1
  这是一个上界，但还不够严格，不能说明答案就是O(n³)，只能说最多是O(n³)
• 猜想T(n)=O(n²)
  假设T(k)≤ck²,k<n
  T(n)=4T(n/2)+n
  ≤4·c (n/2)²+n
  =c·n²+n
  >cn²，这个假设不成立
• 猜想T(k)≤c₁k²-c₂k，k<n
  T(n)=4T(n/2)+n
  ≤4[c₁(n/2)²-c₂(n/2)]+n
  =c₁n²-(1-2c₂)n
  =c₁n²-c₂n-(c₂-1)n
  ≤c₁n²-c₂n，c₂>1，c₁>c₂
  得到了正确答案。

递归树法

代换法有时候很难想到一个好的猜测，这种时候递归树是一个很好的方法。
例子1：
求 $T(n)=3T(n/4)+c{n}^2$ 的上界

上图显示了这个递归树的演化过程，这种写法很奇怪，但很有用。b)中根部的cn²表示递归在顶层时花的代价，下面子树表示子问题的代价，这棵树就是对a)中的T(n)的展开。子树又可以向下扩展，c)中T(n/4)又可以拆成c(n/4)²和三个T(n/16)，扩展直到递归结束。子问题里根节点越来越远，大小也越来越小，最后一定会到达一个边界条件。
那么这棵树的深度是多少呢？对深度为i的节点，子问题的大小是n/4ⁱ，递归结束时n/4ⁱ=1，i=log₄n，所以这棵树有log₄n+1层，即层0,1,…,log₄n。然后计算每一层的代价，深度为i时的节点数是3ⁱ，每个节点的代价是c·(n/4ⁱ)²,因此第i层的总代价就是c·(n/4ⁱ)²·3ⁱ=(3/16)ⁱ·c·n²，i=0,1,…,log₄n-1。最后一层，也就是深度为log₄n的每个节点代价都是O(1)，代价为T(1)·3^log₄n=T(1)·n^log₄3。所以总代价就是：

放缩得到：

然后用代换法可以证明正确性。

例子2:
$T(n)=T(n/3)+T(2n/3)+O(n)$
跟前面一样，还是用c表示O(n)的常数因子，即 T(n)=T(n/3)+T(2n/3)+cn。递归树如下图所示：

可以发现每一层的代价和都是cn。向下扩展不是等深度的，不是所有层都是cn，但我们只需要猜一个大概然后用代换法验证。从根节点到叶节点的最长路径是n->2n/3->4n/9->…->(2/3)ⁱn->…->1，(2/3)ⁱn=1，i=log_3/2n，所以深度是log_3/2n。因此T(n)=O(cn·log_3/2n)=O(nlogn)。

主方法

主方法只对一些特定形式的递归式有用，相当于是个公式。形如 T(n)=aT(n/b)+f(n)才能用主方法，这个式子中，每个子问题有相等的规模，有一些约束条件，a≥1，至少递归一次，b>1，子问题规模得不断减小，f(n)要渐近趋正（表示对足够大的n，f(n)是正的）。
主方法的思路就是去比较非递归的函数f(n)和函数n^log_ba。这个n^log_ba有没有很熟悉，它就是递归树中叶节点的数量。

主定理：

1. 如果f(n)=O(n^log_ba-ε)，ε>0，那么T(n)=Θ(n^log_ba)
2. 如果f(n)=Θ(n^log_ba·lg^kn)，k≥0，表示f(n)=基本等于Θ(n^log_ba)，那么T(n)=Θ(n^log_ba·lg^k+1n)
3. 如果f(n)比n^log_ba增长得快，即f(n)=Ω(n^log_ba+ε)，ε>0，并且递归中f(n)要不断减小，即af(n/b)≤(1-ε’)·f(n)，ε’>0，那么T(n)=Θ(f(n))

举例：

1. $T(n)=4T(n/2)+n$
   这里a=4，b=2，f(n)=n，n^log_ba=n^log₂4=n²，因此满足定理中1的情况，T(n)=Θ(n²)
2. $T(n)=4T(n/2)+n^2$
   这里a=4，b=2，f(n)=n²，n^log_ba=n²，满足定理中的2，k=0，T(n)=Θ(n²·lgn)
3. $T(n)=4T(n/2)+n^3$
   这里a=4，b=2，f(n)=n³，n^log_ba=n²，满足定理中的3，T(n)=Θ(n³)
4. $T(n)=4T(n/2)+n^2/lgn$
   这里f(n)=n²/lgn，主定理不适用，得找别的方法

主定理为什么是正确的？
对于$T(n)=aT(n/b)+f(n)$ 画出来的递归树，如下图所示：

这棵树的高度是log_bn+1，每一层的节点个数是aⁱ，叶节点的个数就是a^log_bn，也就是n^log_ba，每个叶节点复杂度都是Θ(1)，将底层的代价加起来得到Θ(n^log_ba)。
现在我们比较树顶层的复杂度f(n)和底层的复杂度Θ(n^log_ba)，如果下面的子树以几何级数递减，那么f(n)就会占主导地位，因此在主定理的3中，就得到Θ(f(n))。
在主定理的1中，f(n)多项式地小于Θ(n^log_ba)，可以说是从中间改变了顺序，子树以几何级数增长，因此叶节点占主导地位，即Θ(n^log_ba)。
在主定理的2中，顶层与底层基本相等，因此代价是其中的某一层的复杂度乘以树的高度，即Θ(f(n)·lgn)=Θ(n^log_ba·lg^kn·log_bn)=Θ(n^log_ba·lgn)。