【算法导论】第3章 函数的增长 (2)

---

Part I. Foundations
Chapter 3. Growth of Functions

---

3.2 标准记号和常用函数

单调性（monotonicity）

函数 $f(n)$ 单调递增（monotonically increasing）：$m\le n\Rightarrow f(m)\le f(n)$。
函数 $f(n)$ 单调递减（monotonically decreasing）：$m\le n\Rightarrow f(m)\ge f(n)$。
函数 $f(n)$ 严格递增（strictly increasing）：$m<n\Rightarrow f(m)<f(n)$。
函数 $f(n)$ 严格递增（strictly decreasing）：$m<n\Rightarrow f(m)>f(n)$。

下取整（floor）和上取整（ceiling）

对于任何实数 $x$，我们用 $\lfloor x\rfloor$（读作“ $x$ 的下取整”）表示小于或等于 $x$ 的最大整数，用 $\lceil x\rceil$（读作“ $x$的上取整”）表示大于或等于 $x$ 的最小整数。 对于所有实数 $x$，有
$x-1<\lfloor x\rfloor \le x\le \lceil x\rceil <x+1$。     (3.3)
对于任何整数 $n$，有 $\lfloor n/2\rfloor +\lceil n/2\rceil =n$。
对任意实数 $x\ge 0$ 和整数 $a,b>0$，
$\lceil \frac{\lceil x/a\rceil }{b}\rceil =\lceil \frac{x}{ab}\rceil$，         (3.4)
$\lfloor \frac{\lfloor x/a\rfloor }{b}\rfloor =\lfloor \frac{x}{ab}\rfloor$，         (3.5)
$\lceil \frac{a}{b}\rceil \le \frac{a+(b-1)}{b}$，         (3.6)
$\lfloor \frac{a}{b}\rfloor \ge \frac{a-(b-1)}{b}$。         (3.7)
函数 $f(x)=\lfloor x\rfloor$ 单调递增，函数 $f(x)=\lceil x\rceil$ 单调递增。

取模运算（modular arithmetic）

对于任意整数 $a$ 和任意正整数 $n$，$a\mathrm{m}\mathrm{o}\mathrm{d}n$ 的值是商 $a/n$ 的余数（remainder / residue）：
$a\mathrm{m}\mathrm{o}\mathrm{d}n=a-n\lfloor a/n\rfloor$。         (3.8)
由此得出 $0\le a\mathrm{m}\mathrm{o}\mathrm{d}n<n$。       (3.9)
如果 $(a\mathrm{m}\mathrm{o}\mathrm{d}n)=(b\mathrm{m}\mathrm{o}\mathrm{d}n)$，那么可以写作 $a\equiv b$ ($\mathrm{m}\mathrm{o}\mathrm{d}n)$，称在模 $n$ 时，$a$ 等于 $b$。
$a\equiv b$ ($\mathrm{m}\mathrm{o}\mathrm{d}n)$ 当且仅当 $n$ 是 $b-a$ 的约数。
如果模数为 $n$ 时 $a$ 不等于 $b$，那么写作 $a\not\equiv b$ ($\mathrm{m}\mathrm{o}\mathrm{d}n)$。

多项式（polynomial）

给定一个非负整数 $d$，$n$ 的 $d$ 次多项式（polynomial in n of degree d）是具有以下形式的函数 $p(n)$：
$p(n)={\sum }_{i=0}^d{a}_i{n}^i$，
其中常数 $a_0,a_1,\dots ,a_d$ 是多项式的系数（coefficients），且 $a_d\ne 0$。
一个多项式是渐近正的，当且仅当 $a_d>0$。
对于一个 $d$ 次的渐近正多项式 $p(n)$，有 $p(n)=\Theta (n^d)$。
对于任意实常数 $a\ge 0$，函数 $n^a$ 单调递增；对于任意实常数 $a\le 0$，函数 $n^a$ 单调递减。
若对于某个常数 $k$ 有 $f(n)=O(n^k)$，则函数 $f(n)$ 是多项式有界的（polynomially bounded）。

指数（exponential）

对任意实数 $a>0$，$m$ 和 $n$，有下列恒等式：
$a^0=1$，$a^1=a$，$a^{-1}=1/a$，
$(a^m{)}^n=a^{mn}$，$(a^m{)}^n=(a^n{)}^m$，$a^m{a}^n=a^{m+n}$。
对任意 $n$ 和 $a\ge 1$，函数 $a^n$ 关于 $n$ 单调递增。
方便的情况下，假设 $0^0=1$。
对任意实数 $a$ 和 $b$，且 $a>1$，有 ${\lim }_{n\to \infty }\frac{n^b}{a^n}=0$，     (3.10)
根据此式，得 $n^b=o(a^n)$。
因此，任何底数大于 1 的指数函数比任何多项式函数增长地更快。
用 $e$ 表示自然对数函数的底数 2.71828…，对于所有实数 $x$，
$e^x=1+x+\frac{x^2}{2!}+\frac{x^3}{3!}+\cdots ={\sum }_{i=0}^{\infty }\frac{x^i}{i!}$。     (3.11)
对于任意实数 $x$，有不等式 $e^x\ge 1+x$，       (3.12)
只有当 $x=0$ 时，等号才成立。
当 $|x|\le 1$ 时，有近似式 $1+x\le e^x\le 1+x+x^2$。       (3.13)
当 $x\to 0$ 时，用 $1+x$ 来近似 $e^x$ 的效果相当好：
$e^x=1+x+\Theta (x^2)$。
对任意的 $x$，有 ${\lim }_{n\to \infty }(1+\frac{x}{n}{)}^n=e^x$。         (3.14)

对数（logarithm）

我们将用到下列记号：
$\lg n={\log }_{2}n$（以 2 为底的对数：binary logarithm），
$\ln n={\log }_{e}n$（自然对数：natural logarithm），
${\lg }^{k}n=(\lg n{)}^k$（取幂：exponentiation），
$\lg \lg n=\lg (\lg n)$（复合：composition）。
我们将采用一个重要的记号约定：对数函数仅作用于函数的下一项。因此，$\lg n+k$ 表示 $(\lg n)+k$。
如果常数 $b>1$，那么函数 ${\log }_{b}n$ 关于 $n>0$ 严格递增。
对任意实数 $a>0$，$b>0$，$c>0$ 和 $n$，
$a=b^{{\log }_{b}a}$，
${\log }_c(ab)={\log }_{c}a+{\log }_{c}b$，
${\log }_b{a}^n=n{\log }_{b}a$，
${\log }_{b}a=\frac{{\log }_{c}a}{{\log }_{c}b}$，         (3.15)
${\log }_{b}1/a=-{\log }_{b}a$，
${\log }_{b}a=\frac{1}{{\log }_{a}b}$，
$a^{{\log }_{b}c}=c^{{\log }_{b}a}$，         (3.16)
在上面的每个公式中，对数的底数不为 1。
当 $|x|<1$ 时，$\ln (1+x)$ 的简单级数展开为：
$\ln (1+x)=x-\frac{x^2}{2}+\frac{x^3}{3}-\frac{x^4}{4}+\frac{x^5}{5}-\cdots$。
当 $x>-1$ 时，有 $\frac{x}{1+x}\le \ln (1+x)\le x$，         (3.17)
只有当 $x=0$ 时，等号成立。
若对常数 $k$，有 $f(n)=O({\lg }^{k}n)$，则称函数 $f(n)$ 是多项对数有界的（polylogarithmically bounded）。
在公式 (3.10) 中，用 $\lg n$ 代替 $n$，用 $2^a$ 代替 $a$，将多项式的增长率与多项对数的增长率联系起来：
${\lim }_{n\to \infty }\frac{{\lg }^{b}n}{(2^a{)}^{\lg n}}={\lim }_{n\to \infty }\frac{{\lg }^{b}n}{n^a}=0$。
由此极限式，得出结论：对于任意常数 $a>0$，有 ${\lg }^{b}n=o(n^a)$。
因此，任意正的多项式函数比多项对数函数增长地快。

阶乘（factorial）

$n!=\{\begin{array}{rcl}1& & \mathrm{i}\mathrm{f}n=0\\ n\cdot (n-1)!& & \mathrm{i}\mathrm{f}n>0\end{array}$
阶乘函数的一个弱上界是 $n!\le n^n$。
斯特林近似公式（Stirling’s approximation）：
$n!=\sqrt{2\pi n}(\frac{n}{e}{)}^n(1+\Theta (\frac{1}{n}))$，         (3.18)
给出了更紧确的上界和下界。
斯特林近似公式有助于证明公式 $\lg (n!)=\Theta (n\lg n)$。       (3.19)
对于所有 $n\ge 1$，有 $n!=\sqrt{2\pi n}(\frac{n}{e}{)}^n{e}^{{\alpha }_n}$，      (3.20)
其中，$\frac{1}{12n+1}\le {\alpha }_n\le \frac{1}{12n}$。        (3.21)

函数迭代（functional iteration）

用记号 $f^{(i)}(n)$ 表示函数 $f(n)$ 重复 $i$ 次作用于一个初始值 $n$ 上。
$f^{(i)}(n)=\{\begin{array}{rcl}n& & \mathrm{i}\mathrm{f}i=0\\ f(f^{(i-1)}(n))& & \mathrm{i}\mathrm{f}i>0\end{array}$
例如，如果 $f(n)=2n$，那么 $f^{(i)}(n)=2^{i}n$。

多重对数函数（the iterated logarithm function）

定义： lg ⁡ ∗ n = min ⁡ { i ≥ 0 : lg ⁡ ( i ) n ≤ 1 } \lg^* n = \min \{ i\ge0:\lg^{(i)} n \le 1 \} lg∗n=min{i≥0:lg(i)n≤1}。
多重对数是一种增长很慢的函数：
${\lg }^{\ast }2=1$，${\lg }^{\ast }4=2$，${\lg }^{\ast }16=3$，${\lg }^{\ast }65536=4$，${\lg }^{\ast }(2^{65536})=5$。

斐波那契数列（Fibonacci numbers）

递归地定义：
$F_0=0$，
$F_1=1$，                         (3.22)
$F_i=F_{i-1}+F_{i-2}$   当 $i\ge 2$ 时。
斐波那契数与黄金分割率（golden ratio）$\varphi$ 及其共轭（conjugate）$\hat{\varphi }$ 相关，是下面方程的两个根：
$x^2=x+1$，       (3.23)
$\varphi =\frac{1+\sqrt{5}}{2}=1.61803...$，       (3.24)
$\hat{\varphi }=\frac{1-\sqrt{5}}{2}=-0.61803...$。
特别地，有 $F_i=\frac{{\varphi }^i-{\hat{\varphi }}^i}{\sqrt{5}}$，可以用归纳法证明。
因为 $|\hat{\varphi }|<1$，有 $\frac{|{\hat{\varphi }}^i|}{\sqrt{5}}<\frac{1}{\sqrt{5}}<\frac{1}{2}$，
推出 $F_i=\lfloor \frac{{\varphi }^i}{\sqrt{5}}+\frac{1}{2}\rfloor$，       (3.25)
也就是说，第 $i$ 个斐波那契数 $F_i$ 等于 ${\varphi }^i/\sqrt{5}$ 四舍五入后的整数 。
因此，斐波那契数呈指数增长。

练习

3.2-1 证明：如果 $f(n)$ 和 $g(n)$ 是单调递增函数，那么函数 $f(n)+g(n)$ 和 $f(g(n))$ 同样是单调递增函数；另外，如果 $f(n)$ 和 $g(n)$ 非负，那么 $f(n)\cdot g(n)$ 单调递增。
证： 令 $n_1\le n_2$，则有 $f(n_1)\le f(n_2)$，$g(n_1)\le g(n_2)$，
得 $f(n_1)+g(n_1)\le f(n_2)+g(n_2)$，$f(g(n_1))\le f(g(n_2))$。
所以，函数 $f(n)+g(n)$ 和 $f(g(n))$ 是单调递增函数。
因为对任意 $n$，有 $f(n)\ge 0$，$g(n)\ge 0$，
得 $f(n_1)\cdot g(n_1)\le f(n_2)\cdot g(n_2)$。
所以，$f(n)\cdot g(n)$ 单调递增。

3.2-2 证明等式 (3.16)。
证： 即证明等式 $a^{{\log }_{b}c}=c^{{\log }_{b}a}$。
$a^{{\log }_{b}c}=(b^{{\log }_{b}a}{)}^{{\log }_{b}c}=b^{{\log }_{b}a\cdot {\log }_{b}c}=b^{{\log }_{b}c\cdot {\log }_{b}a}=c^{{\log }_{b}a}$。

3.2-3 证明等式 (3.19)，并证明 $n!=\omega (2^n)$ 和 $n!=o(n^n)$。
证： 即证明等式 $\lg (n!)=\Theta (n\lg n)$。
根据斯特林近似公式，得
$$\begin{gathered} \lg (n!)=\lg (\sqrt{2\pi n}(\frac{n}{e}{)}^n(1+\Theta (\frac{1}{n}))) \\ =\lg (\sqrt{2\pi n})+\lg (\frac{n}{e}{)}^n+\lg (1+\Theta (\frac{1}{n})) \\ =\frac{1}{2}\lg (2\pi )+\frac{1}{2}\lg n+n\lg n+n\lg (\frac{1}{e})+\lg (1+\Theta (\frac{1}{n})) \\ =\Theta (1)+\Theta (\lg n)+\Theta (n\lg n)+\Theta (n)+\lg (1+\Theta (\frac{1}{n})) \\ =\Theta (n\lg n) \end{gathered}$$。
因为 ${\lim }_{n\to \infty }\frac{n!}{2^n}={\lim }_{n\to \infty }\frac{\sqrt{2\pi n}(\frac{n}{e}{)}^n(1+\Theta (\frac{1}{n}))}{2^n}={\lim }_{n\to \infty }\sqrt{2\pi n}(\frac{n}{2e}{)}^n=\infty$，所以 $n!=\omega (2^n)$。
因为 ${\lim }_{n\to \infty }\frac{n!}{n^n}={\lim }_{n\to \infty }\frac{\sqrt{2\pi n}(\frac{n}{e}{)}^n(1+\Theta (\frac{1}{n}))}{n^n}={\lim }_{n\to \infty }\frac{\sqrt{2\pi n}}{e^n}=0$，所以 $n!=o(n^n)$。

3.2-4 $★$
函数 $\lceil \lg n\rceil !$ 是多项式有界的吗？函数 $\lceil \lg \lg n\rceil !$ 呢？
解： 函数 $\lceil \lg n\rceil !$ 不是多项式有界的，函数 $\lceil \lg \lg n\rceil !$ 是多项式有界的。

证明函数 $f(n)$ 是多项式有界的，等价于证明 $\lg (f(n))=O(\lg n)$。理由如下：
① 如果 $f$ 是多项式有界的，那么存在常数 $c$，$k$，$n_0$，对于所有的 $n\ge n_0$，有 $f(n)\le c{n}^k$。
因此，$\lg (f(n))\le ck\lg n$，因为 $c$ 和 $k$ 是常数，意味着 $\lg (f(n))=O(\lg n)$。
因此，$\lg (f(n))\le \lg (c{n}^k)$，而 $\lg (c{n}^k)=\lg c+k\lg n$。当 $0<c\le 1$ 时，$\lg c\le 0$，得 $\lg (f(n))\le k\lg n$，因为存在常数 $0<c\le 1$ 和 $k$，意味着 $\lg (f(n))=O(\lg n)$。
② 相似地，如果 $\lg (f(n))=O(\lg n)$，那么 $f$ 是多项式有界的。

在下面的证明中，要用到两个等式：
① $\lg (n!)=\Theta (n\lg n)$（等式 (3.19)）
② $\lceil \lg n\rceil =\Theta (\lg n)$，因为 $\lceil \lg n\rceil \ge \lg n$，且对于所有的 $n\ge 2$，有 $\lceil \lg n\rceil <\lg n+1\le 2\lg n$。

$\lg (\lceil \lg n\rceil !)=\Theta (\lceil \lg n\rceil \lg (\lceil \lg n\rceil ))=\Theta (\lg n\lg \lg n)=\omega (\lg n)$。
因此，$\lg (\lceil \lg n\rceil !)\ne O(\lg n)$，所以 $\lceil \lg n\rceil !$ 不是多项式有界的。

$\lg (\lceil \lg \lg n\rceil !)=\Theta (\lg \lg n\lg \lg \lg n)=o((\lg \lg n{)}^2)=o({\lg }^2(\lg n))=o(\lg n)$。
因为任意多项对数函数都比任意正的多项式函数增长地慢，即对于任意常数 $a,b>0$，有 ${\lg }^{b}n=o(n^a)$。将 $n$ 替换成 $\lg n$，令 $b=1$，$a=1$，得 ${\lg }^2(\lg n)=o(\lg n)$。所以上面的最后一步成立。
因此，$\lg (\lceil \lg \lg n\rceil !)=O(\lg n)$，所以 $\lceil \lg \lg n\rceil !$ 是多项式有界的。

3.2-5 $★$
哪个在渐近上更大一些：$\lg ({\lg }^{\ast }n)$，还是 ${\lg }^{\ast }(\lg n)$？
解： ${\lg }^{\ast }(\lg n)$ 在渐近上更大些。
由 ${\lg }^{\ast }n$ 的定义，得
${\lg }^{\ast }n=\{\begin{array}{rcl}0& & \mathrm{i}\mathrm{f}n\le 1\\ 1+{\lg }^{\ast }(\lg n)& & \mathrm{i}\mathrm{f}n>1\end{array}$

当 $0<n\le 1$ 时，${\lg }^{\ast }n=0$，$\lg ({\lg }^{\ast }n)$ 不存在。
当 $n>1$ 时，$\lg ({\lg }^{\ast }n)=\lg (1+{\lg }^{\ast }(\lg n))$。

当 $1<n\le 2$ 时，$0<\lg n\le 1$，${\lg }^{\ast }(\lg n)=0$，
当 $n>2$ 时，$\lg n>1$，${\lg }^{\ast }(\lg n)=1+{\lg }^{\ast }(\lg \lg n)$。

令 $f(n)={\lg }^{\ast }(\lg n)$，则
${\lim }_{n\to \infty }\frac{\lg ({\lg }^{\ast }n)}{{\lg }^{\ast }(\lg n)}={\lim }_{n\to \infty }\frac{\lg (1+{\lg }^{\ast }(\lg n))}{{\lg }^{\ast }(\lg n)}={\lim }_{n\to \infty }\frac{\lg (1+f(n))}{f(n)}=0$。
因为 ${\lim }_{n\to \infty }f(n)=\infty$，所以上式最后一步成立。
则有 $\lg ({\lg }^{\ast }n)=\omega ({\lg }^{\ast }(\lg n))$，所以 ${\lg }^{\ast }(\lg n)$ 在渐近上更大些。

3.2-6 证明黄金分割率 $\varphi$ 及其共轭数 $\hat{\varphi }$ 都满足等式 $x^2=x+1$。
证： $\varphi =\frac{1+\sqrt{5}}{2}$，$\hat{\varphi }=\frac{1-\sqrt{5}}{2}$
${\varphi }^2=\frac{3+\sqrt{5}}{2}$，$\varphi +1=\frac{3+\sqrt{5}}{2}$，满足等式 ${\varphi }^2=\varphi +1$。
${\hat{\varphi }}^2=\frac{3-\sqrt{5}}{2}$，$\hat{\varphi }+1=\frac{3-\sqrt{5}}{2}$，满足等式 ${\hat{\varphi }}^2=\hat{\varphi }+1$。

把一条线段分割为两部分，使较大部分与全长的比值等于较小部分与较大的比值，则这个比值即为黄金分割。其比值是 (√5-1) : 2，近似值为 0.618，通常用希腊字母 Ф 表示这个值。
$\frac{x}{1}=\frac{1-x}{x}$。1 / 0.618… = 1.618…

3.2-7 用归纳法证明：第 $i$ 个斐波那契数满足等式 $F_i=\frac{{\varphi }^i-{\hat{\varphi }}^i}{\sqrt{5}}$，其中 $\varphi$ 是黄金分割率，$\hat{\varphi }$ 是其共轭数。
证： ① 当 $i=0$ 时，$F_0=\frac{{\varphi }^0-{\hat{\varphi }}^0}{\sqrt{5}}=0$，命题成立。当 $i=1$ 时，$F_1=\frac{{\varphi }^1-{\hat{\varphi }}^1}{\sqrt{5}}=1$，命题成立。
② 假设第 $i-1$ 个斐波那契数满足等式 $F_{i-1}=\frac{{\varphi }^{i-1}-{\hat{\varphi }}^{i-1}}{\sqrt{5}}$，第 $i-2$ 个斐波那契数满足等式 $F_{i-2}=\frac{{\varphi }^{i-2}-{\hat{\varphi }}^{i-2}}{\sqrt{5}}$，其中，$i\ge 2$。
那么，第 $i$ 个斐波那契数
$$\begin{gathered} F_i=F_{i-1}+F_{i-2} \\ =\frac{{\varphi }^{i-1}-{\hat{\varphi }}^{i-1}}{\sqrt{5}}+\frac{{\varphi }^{i-2}-{\hat{\varphi }}^{i-2}}{\sqrt{5}}=\frac{(\varphi +1)\cdot {\varphi }^{i-2}-(\hat{\varphi }+1)\cdot {\hat{\varphi }}^{i-2}}{\sqrt{5}} \\ =\frac{({\varphi }^2)\cdot {\varphi }^{i-2}-({\hat{\varphi }}^2)\cdot {\hat{\varphi }}^{i-2}}{\sqrt{5}} \\ =\frac{{\varphi }^i-{\hat{\varphi }}^i}{\sqrt{5}} \end{gathered}$$
上面的倒数第二步，见练习 3.2-6，有 ${\varphi }^2=\varphi +1$，${\hat{\varphi }}^2=\hat{\varphi }+1$。命题成立。
综上，第 $i$ 个斐波那契数满足等式 $F_i=\frac{{\varphi }^i-{\hat{\varphi }}^i}{\sqrt{5}}$。

3.2-8 证明：$k\ln k=\Theta (n)$ 可推导出 $k=\Theta (n/\ln n)$。
证： 由渐近记号的对称性，得 $n=\Theta (k\ln k)$，
那么 $\ln n=\Theta (\ln (k\ln k))=\Theta (\ln k+\ln \ln k)=\Theta (\ln k)$，
所以 $n/\ln n=\Theta (k\ln k)/\Theta (\ln k)=\Theta (k)$。
由对称性，得 $k=\Theta (n/\ln n)$，得证。

---

思考题

3-1 多项式的渐近性质
设 $p(n)={\sum }_{i=0}^d{a}_i{n}^i$ 是一个 $n$ 的 $d$ 次多项式，其中 $a_d>0$，令 $k$ 为一个常数。利用渐近记号的定义来证明如下性质：
a. 若 $k\ge d$，则 $p(n)=O(n^k)$。
b. 若 $k\le d$，则 $p(n)=\Omega (n^k)$。
c. 若 $k=d$，则 $p(n)=\Theta (n^k)$。
d. 若 $k>d$，则 $p(n)=o(n^k)$。
e. 若 $k<d$，则 $p(n)=\omega (n^k)$。

证： $p(n)=a_0+a_{1}n+a_2{n}^2+\cdots +a_d{n}^d$。
a. 即证明，存在正常数 $c$ 和 $n_0$，使对所有 $n\ge n_0$，有 $0\le p(n)\le c{n}^k$。
令 $a_{max}=\max (a_0,a_1,a_2,\dots ,a_d)$，因为 $a_d>0$，所以 $a_{max}>0$。
所以 $p(n)\le {\sum }_{i=0}^d{a}_{max}{n}^i$，当 $n\ge 1$ 时，有 ${\sum }_{i=0}^d{a}_{max}{n}^i\le d\cdot a_{max}\cdot n^d\le d\cdot a_{max}\cdot n^k$。
所以，存在 $c=d\cdot a_{max}$，$n_0=1$ 满足条件，得证。
b. 即证明，存在正常数 $c$ 和 $n_0$，使对所有 $n\ge n_0$，有 $0\le c{n}^k\le p(n)$。
$p(n)\ge a_d{n}^d$，当 $n\ge 1$ 时，有 $a_d{n}^d\ge a_d{n}^k$。
所以，存在 $c=a_d$，$n_0=1$ 满足条件，得证。
c. 即证明，存在正常数 $c_1$、$c_2$ 和 $n_0$，使对所有 $n\ge n_0$，有 $0\le c_1{n}^k\le p(n)\le c_2{n}^k$。
由部分（a）和（b）得，存在 $c_1=a_d$，$c_2=d\cdot a_{max}$，$n_0=1$ 满足条件，得证。
d. 即证明，对任意正常数 $c$，存在常数 $n_0>0$，使对所有 $n\ge n_0$，有 $0\le p(n)\le c{n}^k$。
由部分（a）得，当 $n\ge 1$ 时，有 $p(n)\le d\cdot a_{max}\cdot n^d\le d\cdot a_{max}\cdot n^{k-1}$。（因为 $k-1\ge d$）
由 $d\cdot a_{max}\cdot n^{k-1}\le c{n}^k$，得 $n\ge d\cdot a_{max}/c$。
所以，存在 $n_0=\max (1,d\cdot a_{max}/c)$ 满足条件，得证。
e. 即证明，对任意正常数 $c$，存在常数 $n_0>0$，使对所有 $n\ge n_0$，有 $0\le c{n}^k\le p(n)$。
当 $n\ge 1$ 时，有 $p(n)\ge a_d{n}^d\ge a_d{n}^{k+1}$。（因为 $d\ge k+1$）
由 $a_d{n}^{k+1}\ge c{n}^k$，得 $n\ge c/a_d$。
所以，存在 $n_0=\max (1,c/a_d)$ 满足条件，得证。

3-2 相对渐近增长
在下表中，对每一对表达式 $(A,B)$，指出 $A$ 是 $B$ 的哪种关系，是 $O$，$o$，$\Omega$，$\omega$ 或者 $\Theta$。假设 $k\ge 1$，$ϵ>0$，$c>1$ 都是常数。在表格的空格内填“是”或“否”。

$A$     $B$	$O$	$o$	$\Omega$	$\omega$	$\Theta$
${\lg }^{k}n$     $n^{ϵ}$	—	—	否	否	否
$n^k$     $c^n$	是	是	否	否	否
$\sqrt{n}$     $n^{\sin n}$	否	否	否	否	否
$2^n$     $2^{n/2}$	否	否	是	是	否
$n^{\lg c}$     $c^{\lg n}$	是	否	是	否	是
$\lg (n!)$     $\lg (n^n)$	是	否	是	否	是

解： 第 1 对：$\lg n=o(n)$。（未完成）
第 2 对：任何底数大于 1 的指数函数比任何多项式函数增长地更快，即 $n^b=o(a^n)$，其中 $a>1$。
第 3 对：$n^{\sin n}$ 不是渐近正函数；不存在常数 $n_0$，使得 $n>n_0$ 时，函数单调递增或单调递减。
第 4 对：${\lim }_{n\to \infty }A/B={\lim }_{n\to \infty }{2}^{n/2}=\infty$。
第 5 对：因为$a^{{\log }_{b}c}=c^{{\log }_{b}a}$，所以 $n^{\lg c}=c^{\lg n}$。
第 6 对：$\lg (n!)=\Theta (n\lg n)$，$\lg (n^n)=\Theta (n\lg n)$。

3-3 根据渐近增长率排序
a. 根据增长率对下列函数进行排序；即找出函数的一种排列 $g_1,g_2,\dots ,g_{30}$，满足 $g_1=\Omega (g_2),g_2=\Omega (g_3),\dots ,g_{29}=\Omega (g_{30})$。将该序列划分成等价类，使得函数 $f(n)$ 和 $g(n)$ 在同一个等价类，当且仅当 $f(n)=\Theta (g(n))$。
$\lg ({\lg }^{\ast }n)$   $2^{{\lg }^{\ast }n}$   $(\sqrt{2}{)}^{\lg n}$   $n^2$   $n!$   $(\lg n)!$
$(\frac{3}{2}{)}^n$     $n^3$     ${\lg }^{2}n$   $\lg (n!)$   $2^{2^n}$   $n^{1/\lg n}$
$\ln \ln n$   ${\lg }^{\ast }n$   $n\cdot 2^n$   $n^{\lg \lg n}$   $\ln n$   $1$
$2^{\lg n}$   $(\lg n{)}^{\lg n}$   $e^n$   $4^{\lg n}$   $(n+1)!$   $\sqrt{(\lg n)}$
${\lg }^{\ast }(\lg n)$   $2^{\sqrt{2\lg n}}$   $n$   $2^n$   $n\lg n$   $2^{2^{n+1}}$
b. 给出非负函数 $f(n)$ 的一个例子，使对任何在部分 (a) 中的 $g_i(n)$，$f(n)$ 既不是 $O(g_i(n))$，也不是 $\Omega (g_i(n))$。
解： a. $2^{\lg n}=n$，$4^{\lg n}=n^2$，$(\sqrt{2}{)}^{\lg n}=\sqrt{n}$，$n^{\lg \lg n}=(\lg n{)}^{\lg n}$，$\lg (n!)=\Theta (n\lg n)$
排列：$2^{2^{n+1}}$，$2^{2^n}$，$(n+1)!$，$n!$，$e^n$，$n\cdot 2^n$，$2^n$，$(\frac{3}{2}{)}^n$，$n^3$，$n^2$，$4^{\lg n}$，$n\lg n$，$\lg (n!)$，$n$，$2^{\lg n}$，$(\sqrt{2}{)}^{\lg n}$，${\lg }^{2}n$，$\ln n$，$\ln \ln n$，${\lg }^{\ast }n$，${\lg }^{\ast }(\lg n)$，$\lg ({\lg }^{\ast }n)$，$1$。（未完成）
等价类：
① $n$，$2^{\lg n}$
② $n^2$，$4^{\lg n}$
③ $(\lg n{)}^{\lg n}$，$n^{\lg \lg n}$
④ $n\lg n$，$\lg (n!)$
（未完成）
b. 一个例子：$f(n)={\sin }^{2}n$。

3-4 渐近记号的性质
设 $f(n)$ 和 $g(n)$ 是渐近正函数，证明或否定以下假设。
a. $f(n)=O(g(n))$ 蕴含 $g(n)=O(f(n))$。
b. $f(n)+g(n)=\Theta (\min (f(n),g(n)))$。
c. $f(n)=O(g(n))$ 蕴含 $\lg (f(n))=O(\lg (g(n)))$，其中 $\lg (g(n))\ge 1$ 且 $f(n)\ge 1$ 对足够大的 $n$ 成立。
d. $f(n)=O(g(n))$ 蕴含 $2^{f(n)}=O(2^{g(n)})$。
e. $f(n)=O((f(n){)}^2)$。
f. $f(n)=O(g(n))$ 蕴含 $g(n)=\Omega (f(n))$。
g. $f(n)=\Theta (f(n/2))$。
h. $f(n)+o(f(n))=\Theta (f(n))$。

解： a. 假设不成立。例，设 $f(n)=n$，$g(n)=n^2$，满足 $f(n)=O(g(n))$，而 $g(n)\ne O(f(n))$。
b. 假设不成立。$f(n)+g(n)=\Theta (\max (f(n),g(n)))$。
c. 假设成立。
存在正常数 $c$ 和 $n_0$，使对所有 $n\ge n_0$，有 $0\le f(n)\le cg(n)$。
存在正常数 $n_1$，使对所有 $n\ge n_1$，有 $f(n)\ge 1$，得 $\lg (f(n))\ge 0$。
所以，对所有 $n\ge \max (n_0,n_1)$，有 $0\le \lg (f(n))\le c\lg (g(n))$，得证。
d. 假设不成立。令 $f(n)=2n$，$g(n)=n$，满足 $f(n)=O(g(n))$。
${\lim }_{n\to \infty }\frac{2^{f(n)}}{2^{g(n)}}={\lim }_{n\to \infty }{2}^n=\infty$。此时，有 $2^{f(n)}=\omega (2^{g(n)})$，$2^{f(n)}\ne O(2^{g(n)})$。
e. 假设不成立。令 $f(n)=1/n$，则 $(f(n){)}^2=1/n^2$，有 $f(n)=\omega ((f(n){)}^2)$。
f. 假设成立。渐近记号的转置对称性。
g. 假设不成立。令 $f(n)=2^n$，则 $f(n/2)=2^{n/2}$，有 $f(n)=\omega (f(n/2))$。
h. 假设成立。
即证明，存在正常数 $c_1$、$c_2$ 和 $n_0$，使对所有 $n\ge n_0$，有 $0\le c_{1}f(n)\le f(n)+o(f(n))\le c_{2}f(n)$。
因为 $f(n)$ 是渐近正函数，所以存在常数 $m_0$，使对所有 $n\ge m_0$，有 $f(n)\ge 0$。
令 $h(n)=o(f(n))$，
则对任意正常数 $c_3$，存在常数 $n_1>0$，使对所有 $n\ge n_1$，有 $0\le h(n)\le c_{3}f(n)$。
所以，$f(n)+h(n)\ge f(n)$，$f(n)+h(n)\le (1+c_3)f(n)$。
所以，存在 $c_1=1$，$c_2=1+c_3$ 满足条件，得证。

3-5 $O$ 和 $\Omega$ 的变形
某些作者定义 $\Omega$ 的方式与我们略有不同，可以用 $\stackrel{\infty }{\Omega }$（读作“$\Omega$ 无穷大”）来表示这种定义。若存在正常数 $c$ 使 $f(n)\ge cg(n)\ge 0$ 对无穷多的整数成立，则称 $f(n)=\stackrel{\infty }{\Omega }(g(n))$。
a. 说明渐近非负的两个函数 $f(n)$ 和 $g(n)$，要么 $f(n)=O(g(n))$，要么 $f(n)=\stackrel{\infty }{\Omega }(g(n))$，要么二者都成立，然而用 $\Omega$ 代替 $\stackrel{\infty }{\Omega }$ 时不成立。
b. 请描述使用 $\stackrel{\infty }{\Omega }$ 代替 $\Omega$ 来刻画程序运行时间的潜在优点和缺点。

某些作者定义 $O$ 的方式也略有不同，可以用 $O^{\prime }$ 来表示这种定义。当且仅当 $|f(n)|=O(g(n))$ 时，称 $f(n)=O^{\prime }(g(n))$。
c. 如果我们使用 $O^{\prime }$ 代替 $O$ 而仍然使用 $\Omega$，定理 3.1 的“当且仅当”的两个方向各有什么变化？

某些作者定义 $\tilde{O}$（读作 “soft-oh”）来表示略去了对数因子的 $O$：
O ~ ( g ( n ) ) = { f ( n ) \widetilde{O}(g(n))=\{f(n) O (g(n))={f(n)：存在正常数 $c$，$k$ 和 $n_0$，使对所有 $n\ge n_0$，有 $0\le f(n)\le cg(n){\lg }^{k}n\}$。
d. 请类似地定义 $\tilde{\Omega }$ 和 $\tilde{\Theta }$，并证明与定理 3.1 的类似关系。

解： a. 如果 $f(n)=O(g(n))$，那么，存在正常数 $c$ 和 $n_0$，使对所有 $n\ge n_0$，有 $0\le f(n)\le cg(n)$。
如果 $f(n)\ne O(g(n))$，那么，存在正常数 $c_1$，对所有的 $n$，存在常数 $n_1>n$，且 $f(n_1)>c_{1}g(n_1)\ge 0$。此时，$f(n)=\stackrel{\infty }{\Omega }(g(n))$。
当 $f(n)=\Theta (g(n))$ 时，二者都成立。

用 $\Omega$ 代替 $\stackrel{\infty }{\Omega }$ 时，令 $f(n)=n$，$g(n)=2+\sin n$，均为渐近非负函数。但是 $f(n)\ne O(g(n))$，且 $f(n)\ne \Omega (g(n))$。

b. 优点：任意渐近非负的两个函数的关系均可由 $O$ 或 $\stackrel{\infty }{\Omega }$ 表示。
缺点：不能明确比较两个函数的增长率的大小。

c. 定理 3.1：对任意两个函数 $f(n)$ 和 $g(n)$，当且仅当 $f(n)=O(g(n))$，$f(n)=\Omega (g(n))$ 时，有 $f(n)=\Theta (g(n))$。
变化：对任意两个函数 $f(n)$ 和 $g(n)$，当且仅当 $f(n)=O^{\prime }(g(n))$，$|f(n)|=\Omega (g(n))$ 时，有 $|f(n)|=\Theta (g(n))$。

d. Ω ~ ( g ( n ) ) = { f ( n ) \widetilde{\Omega}(g(n))=\{f(n) Ω (g(n))={f(n)：存在正常数 $c$，$k$ 和 $n_0$，使对所有 $n\ge n_0$，有 $0\le cg(n){\lg }^{k}n\le f(n)\}$。
Θ ~ ( g ( n ) ) = { f ( n ) \widetilde{\Theta}(g(n))=\{f(n) Θ (g(n))={f(n)：存在正常数 $c_1$，$c_2$，$k_1$，$k_2$ 和 $n_0$，使对所有 $n\ge n_0$，有 $0\le c_{1}g(n){\lg }^{k_1}n\le f(n)\le c_{2}g(n){\lg }^{k_2}n\}$。
定理：对任意两个函数 $f(n)$ 和 $g(n)$，当且仅当 $f(n)=\tilde{O}(g(n))$，$f(n)=\tilde{\Omega }(g(n))$ 时，有 $f(n)=\tilde{\Theta }(g(n))$。
根据定义即可证明。

3-6 迭代函数（iterated functions）
在 ${\lg }^{\ast }$ 函数中用到的迭代操作符 ${}^{\ast }$ 可用于在实数域内任何单调递增的函数 $f(n)$ 上。对于一个给定的常数 $c\in \mathbb{R}$，定义迭代函数 $f_c^{\ast }$ 为：
f c ∗ ( n ) = min ⁡ { i ≥ 0 : f ( i ) ( n ) ≤ c } f_c^*(n) = \min\{i \ge 0: f^{(i)}(n) \le c\} fc∗​(n)=min{i≥0:f(i)(n)≤c}，
该函数不必针对所有函数定义。换言之，$f_c^{\ast }(n)$ 是为其自变量小于或等于 $c$，而重复应用函数 $f$ 的次数。
对于下列的每函数 $f(n)$ 和常数 $c$，给出 $f_c^{\ast }(n)$ 的尽可能紧确的界。

$f(n)$	$c$	$f_c^{\ast }(n)$
$n-1$	$0$	$n$
$\lg n$	$1$	${\lg }^{\ast }n$
$n/2$	$1$	$\lg n$
$n/2$	$2$	$\lg n$
$\sqrt{n}$	$2$	$\lg \lg n$
$\sqrt{n}$	$1$	$n>1$ 时，不存在
$n^{1/3}$	$2$	${\log }_3\lg n$
$n/\lg n$	$2$

解： $f_c^{\ast }(n)=\{\begin{array}{cr}0& \mathrm{i}\mathrm{f}n\le c\\ 1+f_c^{\ast }(f(n))& \mathrm{i}\mathrm{f}n>c\end{array}$

$f_c^{\ast }(n)$ 的值不同时，其相应的 $n$ 如下：

$f_c^{\ast }(n)$	$$\begin{gathered} n-1 \\ 0 \end{gathered}$$	$$\begin{gathered} \lg n \\ 1 \end{gathered}$$	$$\begin{gathered} n/2 \\ 1 \end{gathered}$$	$$\begin{gathered} n/2 \\ 2 \end{gathered}$$	$$\begin{gathered} \sqrt{n} \\ 2 \end{gathered}$$	$$\begin{gathered} \sqrt{n} \\ 1 \end{gathered}$$	$$\begin{gathered} n^{1/3} \\ 2 \end{gathered}$$	$$\begin{gathered} n/\lg n \\ 2 \end{gathered}$$
$1$	$1$	$2$	$2$	$4$	$4$	—	$8$	$4$
$2$	$2$	$4$	$4$	$8$	$16$	—	$512$	$16$
$3$	$3$	$16$	$8$	$16$	$256$	—	$512^3$	-
$4$	$4$	$65536$	$16$	$32$	$65536$	—	-	-
$5$	$5$	$2^{65536}$	$32$	$64$	$65536^2$	—	-	-
$6$	$6$	-	$64$	$128$	-	—	-	-

---

学习笔记目录：【算法导论】目录