算法导论 — 3.1 渐近记号

笔记

通常我们分析一个算法，不用去关心它的精确运行时间，而是要研究它的渐近效率。$“$渐近$”$在这里的意思是，当输入规模足够大时，并且输入规模趋向于$\infty$时，算法运行时间的增长能体现出某种明显的规律性，即算法的运行时间按照某种特定的规律随输入规模的变大而增长。
　　在第2章中，我们介绍了两种排序算法：插入排序和归并排序，它们的渐近运行时间分别为$\Theta (n^2)$和$\Theta (n\mathrm{l}\mathrm{g}n)$。这说明，当输入规模足够大时，插入排序的运行时间比归并排序运行时间增长要快。一旦输入规模足够大，归并排序在运行效率上将战胜插入排序。
　　本节介绍几种渐近记号，可以用来描述算法的渐近运行时间。
　　
　　(1) $\Theta$记号
　　定义：给定一个函数$g(n)$，用$\Theta (g(n))$来表示以下函数的集合：
　　 Θ ( g ( n ) ) = { f ( n ) ： 存 在 正 常 量 c 1 、 c 2 和 n 0 ， 使 得 对 所 有 n ≥ n 0 ， 有 0 ≤ c 1 g ( n ) ≤ f ( n ) ≤ c 2 g ( n ) } Θ(g(n)) = \{ f(n)：存在正常量c_1、c_2和n_0，使得对所有n ≥ n_0，有0 ≤ c_1g(n) ≤ f(n) ≤ c_2g(n) \} Θ(g(n))={f(n)：存在正常量c1​、c2​和n0​，使得对所有n≥n0​，有0≤c1​g(n)≤f(n)≤c2​g(n)}
　　
　　准确来说$\Theta (g(n))$是一个集合。但我们习惯用$“f(n)=\Theta (g(n))”$表示函数$f(n)$属于集合$\Theta (g(n))$。$f(n)=\Theta (g(n))$的直观意义是：存在正常量$c_1$和$c_2$，使得对于足够大的$n$，函数$f(n)$能$“$夹入$”$$c_{1}g(n)$和$c_{2}g(n)$之间。也就是说，当$n$足够大时，$f(n)$与$g(n)$的比值是在一个有限正实数范围内的。这个比值可能随$n$的变化而有所不同，但是只要$n$足够大，不管$n$为多少，这个比值总是在有限正实数范围$[c_1,c_2]$内。我们称$g(n)$是$f(n)$的一个渐近紧确界，也就是说$g(n)$既可以表示$f(n)$的渐近上界，也可以表示$f(n)$的渐近下界，区别就是上界和下界所乘的常量因子$c_1$和$c_2$不同。
　　下面举一个例子，用上面的定义来证明$\frac{1}{2}{n}^2-3n=\Theta (n^2)$。根据$\Theta$记号的定义，我们需要找到正常量$c_1$、$c_2$和$n_0$，使得对所有$n\ge n_0$，有
　　$c_1{n}^2\le \frac{1}{2}{n}^2-3n\le c_2{n}^2$
　　将上式除以$n^2$，得到
　　$c_1\le \frac{1}{2}-\frac{3}{n}\le c_2$
　　通过选择任意常量$c_2\ge 1/2$，可以使右边的不等式对任何$n\ge 1$成立。同样，通过选择$c_1\le 1/14$，可以使得左边的不等式对任何$n\ge 7$成立。因此，选择$c_1\le 1/14、c_2\ge 1/2和n\ge 7$，可以使得以上不等式成立，故$\frac{1}{2}{n}^2-3n=\Theta (n^2)$得证。
　　
　　(2) $\mathrm{O}$记号
　　与$\Theta$记号不同，$\mathrm{O}$记号只给出函数的渐近上界。
　　定义：给定一个函数$g(n)$，用$\mathrm{O}(g(n))$来表示以下函数的集合：
　　 O ( g ( n ) ) = { f ( n ) ： 存 在 正 常 量 c 和 n 0 ， 使 得 对 所 有 n ≥ n 0 ， 有 0 ≤ f ( n ) ≤ c g ( n ) } {\rm O}(g(n)) = \{ f(n)：存在正常量c和n_0，使得对所有n ≥ n_0，有0 ≤ f(n) ≤ cg(n) \} O(g(n))={f(n)：存在正常量c和n0​，使得对所有n≥n0​，有0≤f(n)≤cg(n)}
　　
　　如果$f(n)=\mathrm{O}(g(n))$，说明当$n$足够大时，$f(n)$与$g(n)$的比值总是不超过一个正常量$c$。显然，$f(n)=\Theta (g(n))$蕴含了$f(n)=\mathrm{O}(g(n))$。
　　
　　(3) $\Omega$记号
　　$\Omega$记号只给出函数的渐近下界。
　　定义：给定一个函数$g(n)$，用$\Omega (g(n))$来表示以下函数的集合：
　　 Ω ( g ( n ) ) = { f ( n ) ： 存 在 正 常 量 c 和 n 0 ， 使 得 对 所 有 n ≥ n 0 ， 有 0 ≤ c g ( n ) ≤ f ( n ) } Ω(g(n)) = \{ f(n)：存在正常量c和n_0，使得对所有n ≥ n_0，有0 ≤ cg(n) ≤ f(n) \} Ω(g(n))={f(n)：存在正常量c和n0​，使得对所有n≥n0​，有0≤cg(n)≤f(n)}
　　
　　如果$f(n)=\Omega (g(n))$，说明当$n$足够大时，$f(n)$与$g(n)$的比值总是不小于一个正常量$c$。显然，$f(n)=\Theta (g(n))$也蕴含了$f(n)=\Omega (g(n))$。
　　
　　 (4) $\mathrm{o}$记号
　　 $\mathrm{o}$记号用来表示函数的一个非渐近紧确的上界。
　　 定义：给定一个函数$g(n)$，用$\mathrm{o}(g(n))$来表示以下函数的集合：
　　 o ( g ( n ) ) = { f ( n ) ： 对 任 意 正 常 量 c ， 存 在 n 0 &gt; 0 ， 使 得 对 所 有 n ≥ n 0 ， 有 0 ≤ f ( n ) &lt; c g ( n ) } {\rm o}(g(n)) = \{ f(n)：对任意正常量c，存在n_0 &gt; 0，使得对所有n ≥ n_0，有0 ≤ f(n) &lt; cg(n) \} o(g(n))={f(n)：对任意正常量c，存在n0​>0，使得对所有n≥n0​，有0≤f(n)<cg(n)}
　　
　　 对比$\mathrm{O}(g(n))$的定义可以看到，$\mathrm{O}(g(n))$要求$f(n)\le cg(n)$，而$\mathrm{o}(g(n))$要求$f(n)<cg(n)$，并且对任意$c>0$都能满足。因此，$\mathrm{o}$记号给出的上界不是渐近紧确的，而$\mathrm{O}$记号给出的上界有可能是渐近紧确的。
　　 还可以用极限来定义$\mathrm{o}$记号：如果$li{m}_{n\to \infty }\frac{f(n)}{g(n)}=0$，那么$f(n)=\mathrm{o}(g(n))$。
　　
　　 (4) $\omega$记号
　　 $\omega$记号用来表示函数的一个非渐近紧确的下界。
　　 定义：给定一个函数$g(n)$，用$\omega (g(n))$来表示以下函数的集合：
　　 ω ( g ( n ) ) = { f ( n ) ： 对 任 意 正 常 量 c ， 存 在 n 0 &gt; 0 ， 使 得 对 所 有 n ≥ n 0 ， 有 0 ≤ c g ( n ) &lt; f ( n ) } ω(g(n)) = \{ f(n)：对任意正常量c，存在n_0 &gt; 0，使得对所有n ≥ n_0，有0 ≤ cg(n) &lt; f(n) \} ω(g(n))={f(n)：对任意正常量c，存在n0​>0，使得对所有n≥n0​，有0≤cg(n)<f(n)}
　　
　　 对比$\Omega (g(n))$的定义可以看到，$\Omega (g(n))$要求$cg(n)\le f(n)$，而$\omega (g(n))$要求$cg(n)<f(n)$，并且对任意$c>0$都能满足。因此，$\omega$记号给出的下界不是渐近紧确的，而$\Omega$记号给出的下界有可能是渐近紧确的。
　　 同样可以用极限来定义$\omega$记号：如果$li{m}_{n\to \infty }\frac{g(n)}{f(n)}=0$，那么$f(n)=\omega (g(n))$。
　　
　　 通常在算法分析中，$\Theta$、$\mathrm{O}$和$\Omega$记号用得相对多一些，而$\mathrm{o}$和$\omega$记号相对少用。我们分析算法，自然更希望得到算法的渐近紧确界。下图直观展示了$\Theta$、$\mathrm{O}$和$\Omega$记号的意义。
　　
　　 下面给出了渐近记号的一些性质。
　　 ① 传递性
　　 $f(n)=\Theta (g(n))且g(n)=\Theta (h(n))\Rightarrow f(n)=\Theta (h(n))$
　　 $f(n)=\mathrm{O}(g(n))且g(n)=\mathrm{O}(h(n))\Rightarrow f(n)=\mathrm{O}(h(n))$
　　 $f(n)=\Omega (g(n))且g(n)=\Omega (h(n))\Rightarrow f(n)=\Omega (h(n))$
　　 $f(n)=\mathrm{o}(g(n))且g(n)=\mathrm{o}(h(n))\Rightarrow f(n)=\mathrm{o}(h(n))$
　　 $f(n)=\omega (g(n))且g(n)=\Omega (h(n))\Rightarrow f(n)=\omega (h(n))$
　　 ② 自反性
　　 $f(n)=\Theta (f(n))$
　　 $f(n)=\mathrm{O}(f(n))$
　　 $f(n)=\Omega (f(n))$
　　 ③ 对称性
　　 $f(n)=\Theta (g(n))\iff g(n)=\Theta (f(n))$
　　 ④ 转置对称性
　　 $f(n)=\mathrm{O}(g(n))\iff g(n)=\Omega (f(n))$
　　 $f(n)=\mathrm{o}(g(n))\iff g(n)=\omega (f(n))$
　　
　　 还有一个性质比较重要，即
　　 $f(n)=\Theta (g(n))\iff f(n)=\mathrm{O}(g(n))且f(n)=\Omega (g(n))$

练习

3.1-1 假设$f(n)$与$g(n)$都是渐近非负函数。使用$\Theta$记号的基本定义来证明$\mathrm{m}\mathrm{a}\mathrm{x}(f(n),g(n))=\Theta (f(n)+g(n))$。
　　 解
　　 由于$f(n)$和$g(n)$都是渐近非负函数，所以存在一个$n_0$，使得对所有$n\ge n_0$，有$f(n)\ge 0$和$g(n)\ge 0$。
　　 取$c_1=1/2$，当$n\ge n_0$时，如果$f(n)\ge g(n)$，则$\mathrm{m}\mathrm{a}\mathrm{x}(f(n),g(n))=f(n)\ge (f(n)+g(n))/2=c_1(f(n)+g(n))$。如果$f(n)<g(n)$，同理可证$\mathrm{m}\mathrm{a}\mathrm{x}(f(n),g(n))\ge c_1(f(n)+g(n))$。
　　 取$c_2=1$，当$n\ge n_0$时，如果$f(n)\ge g(n)$，则$\mathrm{m}\mathrm{a}\mathrm{x}(f(n),g(n))=f(n)\le f(n)+g(n)=c_2(f(n)+g(n))$。如果$f(n)<g(n)$，同理可证$\mathrm{m}\mathrm{a}\mathrm{x}(f(n),g(n))\le c_2(f(n)+g(n))$。
　　 综上所述，选取一个足够大的$n_0$，并且取$c_1=1/2$和$c_2=1$，当$n\ge n_0$时，$0\le c_1(f(n)+g(n))\le \mathrm{m}\mathrm{a}\mathrm{x}(f(n),g(n))\le c_2(f(n)+g(n))$成立，所以$\mathrm{m}\mathrm{a}\mathrm{x}(f(n),g(n))=\Theta (f(n)+g(n))$。
　　
3.1-2 证明：对任意实常量$a$和$b$，其中$b>0$，有$(n+a{)}^b=\Theta (n^b)$。
　　 解
　　 $(n+a{)}^b=\Theta (n^b)$意味着存在$c_1>0$、$c_2>0$和$n_0>0$，使得对所有$n\ge n_0$，有$0\le c_1{n}^b\le (n+a{)}^b\le c_2{n}^b$。
　　
　　 (1) 先证明不等式$(n+a{)}^b\ge c_1{n}^b$。将不等式两边都除以$n^b$，有
　　
　　 $(1+\frac{a}{n}{)}^b\ge c_1\iff 1+\frac{a}{n}\ge {c_1}^{1/b}\iff \frac{a}{n}\ge {c_1}^{1/b}-1$
　　
　　 取任意$0<c_1<1$，由于$b>0$，故$0<{c_1}^{1/b}<1$，所以${c_1}^{1/b}-1<0$。于是上面的不等式可以变换为$n\ge \frac{a}{({c_1}^{1/b}-1)}$。
　　
　　 这意味着任取$0<c_1<1$，都可以找到一个大于或等于$\frac{a}{({c_1}^{1/b}-1)}$的$n_0$，使得对所有$n\ge n_0$，有$(n+a{)}^b\ge c_1{n}^b$都成立。
　　
　　 (2) 用同样的方法可证明，取任意$c_2>1$，都可以找到一个大于或等于$\frac{a}{({c_2}^{1/b}-1)}$的$n_0$，使得对所有$n\ge n_0$，有$(n+a{)}^b\le c_2{n}^b$都成立。
　　
　　 综上所述，$(n+a{)}^b=\Theta (n^b)$是成立的。
　　
3.1-3 解释为什么$“$算法$A$的运行时间至少是$O(n^2)”$这一表述是无意义的。
　　 略

3.1-4 $2^{n+1}=\mathrm{O}(2^n)$成立吗？$2^{2n}=\mathrm{O}(2^n)$成立吗？
　　 解
　　 取任意$c\ge 2$，对任意$n>0$，都有$2^{n+1}=2\bullet 2^n\le c\bullet 2^n$。故$2^{n+1}=\mathrm{O}(2^n)$成立。
　　 而$2^{2n}=(2^n{)}^2=2^n\bullet 2^n$，无论取多大的正常量$c$，当$n$足够大时，$2^n\bullet 2^n$都会超过$c\bullet 2^n$。因此，$2^{2n}\le c\bullet 2^n$并不是渐近成立的，故$2^{2n}=O(2^n)$不成立。
　　
3.1-5 证明定理3.1。
　　 略

3.1-6 证明：一个算法的运行时间为$\Theta (g(n))$当且仅当其最坏情况运行时间为$\mathrm{O}(g(n))$，且其最好情况运行时间为$\Omega (g(n))$。
　　 略

3.1-7 证明：$\mathrm{o}(g(n))\cap \omega (g(n))$为空集。
　　 解
　　 采用反证法。假如存在这样的函数$f(n)$，满足$f(n)\in \mathrm{o}(g(n))\cap \omega (g(n))$。
　　 $f(n)\in \mathrm{o}(g(n))$说明对任意正常量$c>0$，存在常量$n_1>0$，使得对所有$n\ge n_1$，有$f(n)<cg(n)$。
　　 而$f(n)\in \omega (g(n))$说明对任意正常量$c>0$，存在常量$n_2>0$，使得对所有$n\ge n_2$，有$f(n)>cg(n)$。
　　 当 n ≥ m a x { n 1 , n 2 } n ≥ {\rm max}\{n_1, n_2\} n≥max{n1​,n2​}时，既有$f(n)<cg(n)$，又有$f(n)>cg(n)$，这是矛盾的。因此不存在这样的函数$f(n)$，满足$f(n)\in \mathrm{o}(g(n))\cap \omega (g(n))$。故$\mathrm{o}(g(n))\cap \omega (g(n))$为空集。

3.1-8 可以扩展我们的记号到有两个参数$n$和$m$的情形，其中的$n$和$m$可以按不同速率独立地趋于无穷。对于给定的函数$g(n,m)$，用$\mathrm{O}(g(n,m))$来表示以下函数集：
　　 O ( g ( n , m ) ) = { f ( n , m ) ： 存 在 正 常 量 c 、 n 0 和 m 0 ， 使 得 对 所 有 n ≥ n 0 或 m ≥ m 0 ， 有 0 ≤ f ( n , m ) ≤ c g ( n , m ) } {\rm O}(g(n, m)) = \{ f(n, m)：存在正常量c、n_0和m_0，使得对所有n ≥ n_0或m ≥ m_0，有0 ≤ f(n, m) ≤ cg(n, m) \} O(g(n,m))={f(n,m)：存在正常量c、n0​和m0​，使得对所有n≥n0​或m≥m0​，有0≤f(n,m)≤cg(n,m)}
　　 对$\Omega (g(n,m))$和$\Theta (g(n,m))$给出相应的定义。
　　 解
　　 Ω ( g ( n , m ) ) = { f ( n , m ) ： 存 在 正 常 量 c 、 n 0 和 m 0 ， 使 得 对 所 有 n ≥ n 0 或 m ≥ m 0 ， 有 0 ≤ c g ( n , m ) ≤ f ( n , m ) } 。 Ω(g(n, m)) = \{ f(n, m)：存在正常量c、n_0和m_0，使得对所有n ≥ n_0或m ≥ m_0，有0 ≤ cg(n, m) ≤ f(n, m) \}。 Ω(g(n,m))={f(n,m)：存在正常量c、n0​和m0​，使得对所有n≥n0​或m≥m0​，有0≤cg(n,m)≤f(n,m)}。
　　 Θ ( g ( n , m ) ) = { f ( n , m ) ： 存 在 正 常 量 c 1 、 c 2 、 n 0 和 m 0 ， 使 得 对 所 有 n ≥ n 0 或 m ≥ m 0 ， 有 0 ≤ c 1 g ( n , m ) ≤ f ( n , m ) ≤ c 2 g ( n , m ) } 。 Θ(g(n, m)) = \{ f(n, m)：存在正常量c_1、c_2、n_0和m_0，使得对所有n ≥ n_0或m ≥ m_0，有0 ≤ c_1g(n, m) ≤ f(n, m) ≤ c_2g(n, m) \}。 Θ(g(n,m))={f(n,m)：存在正常量c1​、c2​、n0​和m0​，使得对所有n≥n0​或m≥m0​，有0≤c1​g(n,m)≤f(n,m)≤c2​g(n,m)}。