《算法导论》第三章 函数的增长

第三章 函数的增长

3-1 知识点

$\Theta$记号

$\Theta (g(n))$的含义为：存在正常量$c_1,c_2和n_0$，使得对所有 $n\ge n_0$，有 $0\le c_{1}g(n)\le f(n)\le c_{2}g(n)$。

举个例子，当分析插入排序的最坏运行时间时：

• $f(n)=\frac{a}{2}{n}^2+bn+c$
• $g(n)=n^2$

在算法导论一书中，通常使用 $f(n)=\Theta (g(n))$ 来表示与$f(n)\in \Theta (g(n))$ 相同的含义，即$\Theta (g(n))$代表一个集合，$f(n)$代表一个属于$\Theta (g(n))$的函数。

$\mathrm{O}$记号

$\mathrm{O}(g(n))$的含义为：存在正常量 $c$ 和 $n_0$，使得对所有 $n\ge n_0$，有 $0\le f(n)\le cg(n)$。

$f(n)=\mathrm{O}(g(n))$ 一般用来表示 g(n) 的某个常量倍数是 f(n) 的渐进上界，而不要求它是一个多么紧确的上界。比如,$n=O(n^2),n^2=O(n^2)$都是成立的。

当我们说运行时间为$\mathrm{O}(n^2)$ 时，意指其最坏情况运行时间为$\mathrm{O}(n^2)$。

$\Omega$记号

$\Omega (g(n))$ 的含义为：存在正常量 $c$ 和 $n_0$，使得对所有 $n\ge n_0$，有 $0\le cg(n)\le f(n)$

不是所有函数都可渐进比较

设 $f(n)=n，g(n)=n^{1+\sin x}$，则$f(n)=\mathrm{O}(g(n))，f(n)=\Omega (g(n))$ 都不成立。f(n) 与 g(n) 的函数图像如下：

练习题

3.1-1

假设 f(n) 和 g(n) 都是渐进非负函数，证明$max(f(n),g(n))=\Theta (f(n)+g(n))$。

因为两者均为渐进非负函数，所以存在正常量$n_0$，使得对所有$n\ge n_0$，都有 $f(n)>=0,g(n)>=0$。取$c_1=\frac{1}{2}，c_2=\frac{3}{2}$，则对所有 $n\ge n_0$，都有：

$c_1\ast max(f(n),g(n))\le f(n)+g(n)\le c_2\ast max(f(n),g(n))$

综上，$max(f(n),g(n))=\Theta (f(n)+g(n))$

其实，$c_1，c_2$ 有很多选择，但重要的时存在这样的选择。

3.1-2

证明：对任意实常量 a，b，其中 b > 0，有 $(n+a{)}^b=\Theta (n^b)$

为了证明上述结论，需找到正常量 $c_1,c_2,n_0$ ，使得对所有 $n\ge n_0$时，都有 $0\le c_1\ast n^b\le (n+a{)}^b\le c_2\ast n^b$。

当$n_0=2\ast |a|$ 时，无论 a 取何值，下述不等式都成立：

$|a|\le \frac{n}{2}\le n-|a|\le n+a\le n+|a|\le 2\ast n$

即

$\frac{n}{2}\le n+a\le 2n$

当 b > 0 时有：
$$\begin{array}{r}0<=(\frac{1}{2}n{)}^b\le (n+a{)}^b\le (2n{)}^b\\ 0<=(\frac{1}{2}{)}^b{n}^b\le (n+a{)}^b\le 2^b{n}^b\end{array}$$

综上，当 $c1=(\frac{1}{2}{)}^b，c2=2^b$ 时，对所有$n\ge n_0=2|a|$，都有$0\le c_1\ast n^b\le (n+a{)}^b\le c_2\ast n^b$，所以$(n+a{)}^b=\Theta (n^b)$。

3.1-3

解释“算法A的运行时间至少是$\mathrm{O}(n^2)$”这一表述是无意义的。

感觉这是个语文题。$\mathrm{O}(g(n))$ 表示运行时间的上界，与“至少”用在一起是个病句。就像说插入排序的运行时间至少是$\mathrm{O}(n^2)$。

作者的解答如下：

3.1-4

$2^{n+1}=\mathrm{O}(2^n)$成立吗？$2^{2n}=Omicron(2^n)$成立吗？

当 $c=3时$，对于所有$n\ge n_0=1$，都有$0\le 2\ast 2^n=2^{n+1}\le c\ast 2^n$，所以$2^{n+1}=\mathrm{O}(2^n)$成立。

假设存在 $c$ 及 $n_0$，使得对所有$n\ge n_0$ 都有 $0\le 2^{2n}\le c{2}^n$，同除 $2^n$得，$0\le 2^n\le c$，因为 $c$ 是常量，所以对任意大的 $n$，该不等式不可能成立，故$2^{2n}=Omicron(2^n)$不成立。

3.1-5

证明定理3.1

如果 $f(n)=\Theta (g(n))$，则存在正常量$n_0，c_1，c_2$，使得所有$n\ge n_0$，$0\le c_{1}g(n)\le f(n)\le c_{2}g(n)$，根据$\Omega (g(n))及\mathrm{O}(g(n))$的定义不难得出，此时 $f(n)=\Omega (g(n))，f(n)=\mathrm{O}(g(n))$ 也成立。

如果 $f(n)=\mathrm{O}(g(n))$ 成立，则存在正常量$n_1，c_1$，使得所有$n\ge n_1$，$0\le c_{1}g(n)\le f(n)$。
如果 $f(n)=\Omega (g(n))$ 成立，则存在正常量$n_2，c_2$，使得所有$n\ge n_2$，$0\le f(n)\le c_{2}g(n)$。

取 $n_0=max(n_1，n_2)$，则所有$n\ge n_0$，$0\le c_{1}g(n)\le f(n)\le c_{2}g(n)$

综上，$f(n)=\Omega (g(n))，f(n)=\mathrm{O}(g(n))$ 是 $f(n)=\Theta (g(n))$ 充要条件。

3.1-7

证明 $o(g(n))\cap \omega (g(n))$ 为空。

反证法。

假设 $o(g(n))\cap \omega (g(n))$不为空，则对于任意 $c>0$，存在$f(n)，n_0>0$，使得对所有$n\ge n_0$ 都有 $0\le f(n)<cg(n)$ 且 $0\le cg(n)<f(n)$，显然不存在这样的f(n)，所以$o(g(n))\cap \omega (g(n))$ 为空。

3.1-8

给出 $\Omega (g(n,m))，\mathrm{O}(g(n,m))$ 的定义。

3.2-1

因为 $f(n)$ 和 $g(n)$ 均为单调递增的函数，则当 $x<y$ 时有 $f(x)\le f(y)，g(x)\le g(y)$，合并得 $f(x)+g(x)\le f(y)+g(y)$，所以 $f(x)+g(y)$ 为单调递增函数。

因为 $f(n)$ 和 $g(n)$ 均为单调递增的函数，则当$x<y$时有 $g(x)\le g(y)$，$f(g(x))\le f(g(y))$，所以 $f(g(n))$ 是单调递增函数。

因为 $f(n)$ 和 $g(n)$ 均为单调递增的函数且非负，则当$x<y$时有$f(x)\ast g(x)\le f(y)\ast g(y)$，所以 $f(x)\ast g(y)$ 为单调递增函数。

3.2-2

证明 $a^{{\log }_{b}c}=c^{{\log }_{b}a}$

令$a=c^n$，则有
$$\begin{array}{rl}{a}^{{\log }_{b}c}& =c^{n{\log }_{b}c}\\ & =c^{{\log }_b{c}^n}\\ & =c^{{\log }_{b}a}\end{array}$$

3.2-3

证明 $n!=o(n^n)$

由 3.20等式 可知，取 $n_0=1$，对所有$n\ge n_0$ 有
$$\begin{array}{rl}n!& =\sqrt{2\pi n}(\frac{n}{e}{)}^n{e}^{{\alpha }_n}\end{array}$$
因为 $\frac{1}{12n+1}<{\alpha }_n<\frac{1}{12n}$，所以有不等式如下：
$$\begin{array}{rl}n!& =\sqrt{2\pi n}(\frac{n}{e}{)}^n{e}^{{\alpha }_n}\\ n!& <\sqrt{2\pi n}(\frac{n}{e}{)}^{n}e\\ n!& <\sqrt{2\pi n}e(\frac{n^n}{e^n})\end{array}$$

设 $c>0$，若$\sqrt{2\pi n}e(\frac{n^n}{e^n})<c{n}^n$，则有
$$\begin{array}{rl}\sqrt{2\pi n}e(\frac{n^n}{e^n})& <c{n}^n\\ \sqrt{2\pi n}e(\frac{n^n}{e^n})& <c{n}^n\sqrt{n}\\ \frac{\sqrt{2\pi }e}{e^n}& <c\\ \frac{\sqrt{2\pi }e}{c}& <e^n\\ \ln \frac{\sqrt{2\pi }e}{c}& <\ln e^n\\ \ln \sqrt{2\pi }+1-\ln c& <n\end{array}$$
综上，对于任意 $c>0$，存在 $n_0=max(1,\lceil \ln \sqrt{2\pi }+2-\ln c\rceil )$，对于所有$n>=n_0$ 有$0<cn!\le n^n$。

所以 $n!=o(n^n)$。

$n!=\omega (2^n)$

取 $n_0=7$ ，对所有$n\ge n_0$ 有 $n!>3^n>2^n$。

对任意 $c>0$ 有，设 $c{2}^n<3^n$，则有
$$\begin{array}{rl}c{2}^n& <3^n\\ \ln c& <ln(\frac{3}{2}{)}^n\\ \ln (c-\frac{3}{2})& <n\end{array}$$

对任意 $c>0$，存在$n_0=max(7,\lceil \ln (c-\frac{3}{2})\rceil )$，对所有 $n\ge n_0$ 有 $0<c\ast 2^n<n!$，即 $n!=\omega (2^n)$。

$\lg (n!)=\Theta (n\ast \lg n)$

由 3.20等式 可知，取 $n_0=1$，对所有$n\ge n_0$ 有
$$\begin{array}{rl}n!& =\sqrt{2\pi n}(\frac{n}{e}{)}^n{e}^{{\alpha }_n}\end{array}$$

有上述等式得：
$$\begin{array}{rl}\lg (n!)& =\lg (\sqrt{2\pi n}(\frac{n}{e}{)}^n{e}^{{\alpha }_n})\\ \lg (n!)& =\lg (\sqrt{2\pi n})+n\lg (n)-n\lg (e)+\lg (e^{{\alpha }_n})\\ \lg (n!)& >n\lg (n)-n\lg (e)\\ \lg (n!)& >n\lg (n)-\frac{n}{2}\lg (e^2)\end{array}$$

取 $n_0=\lceil e^2\rceil$，对所有 $n\ge n_0$ 都有，
$$\begin{array}{rl}\lg (n!)& >n\lg (n)-\frac{n}{2}\lg (e^2)\\ \lg (n!)& >n\lg (n)-\frac{n}{2}\lg (n)\\ \lg (n!)& >\frac{1}{2}n\lg (n)\end{array}$$

综上，取 $n_0=\lceil e^2\rceil ,c_1=\frac{1}{2}$，对所有 $n\ge n_0$ 都有， $\lg (n!)\ge c_{1}n\lg (n)$

令，取 $n_0=1$，对所有 $n\ge n_0$ 都有
$$\begin{array}{rl}\lg (n!)& =\lg 1+\lg 2+..+\lg n\\ & <=n\lg n\end{array}$$

综上，取 $n_0=max(\lceil e^2\rceil ,1)，c_1=\frac{1}{2},c_2=1$，对所有 $n\ge n_0$ 都有

$$0\le c_1\lg (n\lg n)\le \lg (n!)\le c_2\lg (n\lg n)$$

即 $\lg (n!)=\Theta (n\ast \lg n)$

3.2-4

函数 $\lceil \lg n\rceil !$ 和 $\lceil \lg \lg n\rceil !$ 多项式有界吗？

3.2-5

$\lg ({\lg }^{\ast }n)$ 和 ${\lg }^{\ast }(\lg n)$ 哪个渐进更大些？

${\lg }^{\ast }n$ 的含义就是从 n 开始最少需要多少次运算可以得到一个不超过1的值，那么可得到 ${\lg }^{\ast }(\lg n)={\lg }^{\ast }n-1$。

$\lg ({\lg }^{\ast }n)$ 和 ${\lg }^{\ast }n-1$ 相比，显然后者渐进更大些。

3.2-7

当 $n=0,1$ 时易得：

• $F_0=0=\frac{{\varphi }^0-{\hat{\varphi }}^0}{\sqrt{5}}$
• $F_1=1=\frac{{\varphi }^1-{\hat{\varphi }}^1}{\sqrt{5}}$

设当 $n\ge 2$时，$F_{n-2}=\frac{{\varphi }^{n-2}-{\hat{\varphi }}^{n-2}}{\sqrt{5}}，F_{n-1}=\frac{{\varphi }^{n-1}-{\hat{\varphi }}^{n-1}}{\sqrt{5}}$ 成立，

$$\begin{array}{rl}{F}_n& =F_{n-1}+F_{n-2}\\ & =\frac{{\varphi }^{n-2}-{\hat{\varphi }}^{n-2}}{\sqrt{5}}+\frac{{\varphi }^{n-1}-{\hat{\varphi }}^{n-1}}{\sqrt{5}}\\ & =({\varphi }^{n-2}(1+\varphi )+{\hat{\varphi }}^{n-2}(1+\hat{\varphi }))\ast \frac{1}{\sqrt{5}}\\ & =\frac{{\varphi }^n-{\hat{\varphi }}^n}{\sqrt{5}}//由练习题3.2-6可证\end{array}$$

3.2-8

证明 $k\ln k=\Theta (n)$ 蕴含着 $k=\Theta (n/\ln n)$

由 $k\ln k=\Theta (n)$ 可知，存在 $n_0 > 0，c_1 > 0，c_2 > 0 $，使得所有 $n\ge n_0$ 都有:

$$c_{1}n\le k\ln k\le c_{2}n$$

上式三部分同除 $\ln n$ 可得：

$$c_1\frac{n}{\ln n}\le k\frac{\ln k}{\ln n}\le c_2\frac{n}{\ln n}$$

接下来，尝试证明 $\frac{\ln k}{\ln n}$ 的取值范围。

$$\begin{array}{rl}{c}_{1}n& \le k\ln k\\ \ln c_1+\ln n& \le \ln k+\ln \ln k\\ \ln c_1+\ln n& \le 2\ln k\\ \frac{\ln c_1}{\ln n}+1& \le 2\frac{\ln k}{\ln n}\\ \frac{\ln c_1}{2\ln n}+\frac{1}{2}& \le \frac{\ln k}{\ln n}\\ \frac{1}{2}& \le \frac{\ln k}{\ln n}\end{array}$$
另外，取 $n_0=max(n_0,c_2)$，对所有 $n\ge n_0$ 有
$$\begin{array}{rl}{c}_{2}n& \ge k\ln k\\ \ln c_2+\ln n& \ge \ln k+\ln \ln k\\ \frac{\ln c_2}{\ln n}+1& \ge \frac{\ln k}{\ln n}\\ 2& \ge \frac{\ln k}{\ln n}\end{array}$$

综上，由

$k\frac{\ln k}{\ln n}\le c_2\frac{n}{\ln n}$，$\frac{1}{2}\le \frac{\ln k}{\ln n}$

可得：

$k\le 2c_2\frac{n}{\ln n}$

由

$c_1\frac{n}{\ln n}\le k\frac{\ln k}{\ln n}$，$\frac{\ln k}{\ln n}\le 2$

可得：

$\frac{c_1}{2}\frac{n}{\ln n}\le k$

因此 $k\ln k=\Theta (n)$ 蕴含着 $k=\Theta (n/\ln n)$。

思考题 3-1

若 $k\ge d$，则 $p(n)=\mathrm{O}(n^k)$

令 $n_0=1，c_2=\lceil |a_0|+|a_1|+..+|a_d|\rceil$，则对于任意 $n\ge n_0$ 都有：

$$\begin{array}{rl}{c}_2{n}^k& \ge c_2{n}^d\\ & \ge |a_0|n^d+|a_1|n^d+...+|a_d|n^d\\ & \ge a_0{n}^0+a_1{n}^1+...+a_d{n}^d=p(n)\end{array}$$

所以，若 $k\ge d$，则 $p(n)=\mathrm{O}(n^k)$

若 $k\le d$，则 $p(n)=\Omega (n^k)$

设 S 为$p(n)$ 中所有小于 0 的系数的累加和的绝对值，则有：
$$\begin{array}{rl}p(n)& =\sum _{i=0}^d{a}_i{n}^i\\ & \ge a_d{n}^d-S{n}^{d-1}\end{array}$$

若要满足$a_d{n}^d-S{n}^{d-1}>0$，则有：

$$\begin{array}{rl}{a}_{d}n& >S\\ n& >\frac{S}{a_d}\end{array}$$

取$n_0=\lceil \frac{S}{a_d}\rceil +1$，存在 $c_1\in (0,a_d-\frac{S}{n_0}]$，满足对所有$n\ge n_0$都有：

$$0\le c_1\ast k{n}^k\le p(n)$$

所以，若 $k\le d$，则 $p(n)=\Omega (n^k)$。

若 $k=d$，则 $p(n)=\Theta (n^k)$

由上两问可知，当 $k=d$ 时有 $p(n)=\Omega (n^k)$， $p(n)=\mathrm{O}(n^k)$，所以 若 $k=d$，则 $p(n)=\Theta (n^k)$。

若 $k>d$，则 $p(n)=o(n^k)$。

设 S 为$P(n)$ 中所有大于 0 的系数的累加和，则有：

$$\begin{array}{rl}p(n)& =\sum _{i=0}^d{a}_i{n}^i\\ & \le S{n}^d\end{array}$$

设 $c>0$，若要 $c{n}^k>p(n)$，则只需 $c{n}^k>S{n}^d$，取 $n_0=\lceil \frac{S}{c}\rceil +1$，则对于任意$n\ge n_0$ 都有 $c{n}^k>p(n)$。

若 $k<d$，则 $p(n)=\omega (n^k)$。

设 S 为 $p(n)$ 中所有小于 0 的系数的累加和的绝对值，则有：
$$\begin{array}{rl}p(n)& =\sum _{i=0}^d{a}_i{n}^i\\ & \ge a_d{n}^d-S{n}^{d-1}\end{array}$$

设 $c>0$，若要$p(n)>c{n}^k$，则只需$a_d{n}^d-S{n}^{d-1}>c{n}^k$

令 $n_0=\lceil \frac{c+S}{a_d}\lceil +1$，则对于任意$n\ge n_0$都有 $p(n)>c{n}^k>0$

所以若 $k<d$，则 $p(n)=\omega (n^k)$

思考题 3-2

|A|B |$\mathrm{O}$|$o$|$\Omega$|$\omega$|$\Theta$|
|–|--|–|--|–|--|–|
| $l{g}^{k}n$ | $n^{ϵ}$|N|N|Y|Y|N|
|$n^k$|$c^n$|N|N|Y|Y|N|
|$\sqrt{n}$|$n^{\sin n}$|N|N|N|N|N|
|$2^n$|$2^{n/2}$|Y|Y|N|N|N|
|$n^{\lg c}$|$c^{\lg n}$|N|N|Y|Y|N|
|$\lg (n!)$|$\lg (n^n)$|N|N|Y|Y|N|

思考题 3-3

已排序，若 A 在 B 的上面，则代表$A=\Omega (B)$。

思考题 3-4

$f(n)=\mathrm{O}(g(n))$ 蕴涵 $g(n)=\mathrm{O}(f(n))$。

显然不成立，比如 $f(n)=n^2，g(n)=n^3$。

$f(n)+g(n)=\theta (f(n)+g(n))$

显然不成立，比如 $f(n)=0.1，g(n)=n^2$。

$f(n)=\mathrm{O}(f(n{)}^2)$

不成立，比如 $f(n)=\frac{1}{n}$

$f(n)=\mathrm{O}(g(n))$ 蕴涵 $g(n)=\Omega (f(n))$。

成立。

因为 $f(n)=\mathrm{O}(g(n))$，所以存在正数 $n_0,c$，满足对所有 $n\ge n_0$ 都有$0<f(n)\le cg(n)$。

令 $c_1=\frac{1}{c}$，则对所有 $n\ge n_0$ 都有$0<c_{1}f(n)\le g(n)$，即 $g(n)=\Omega (f(n))$

$f(n)=\Theta (f(n/2))$

不成立，比如这种奇葩函数

$$rate=\{\begin{array}{lc}{2}^{n+2}& ,n\%2=0\\ 1& ,n\%2=1\end{array}$$

$f(n)+o(f(n))=\Theta (f(n))$

对任意 $c>0$，存在 $n_0>0$，对任意 $n\ge n_0$，都有
$$0<f(n)+o(f(n))<(c+1)f(n)$$

令 $c_1=\frac{1}{2}，c_2=c+1$，则对任意 $n\ge n_0$，都有

$$c_{1}f(n)\le f(n)+o(f(n))\le c_{2}f(n)$$

所以， $f(n)+o(f(n))=\Theta (f(n))$