Chapter3 Growth of Functions

3.1 渐近记号

$\theta$记号 $\theta (g(n))$=$\{f(n):$存在正常数${c_1},{c_2},{n_0},$使得对所有$n \ge {n_0},$有${\rm{0}} \le {c_1}g(n) \le f(n) \le {c_2}g(n)\}$。
$O$记号 $O (g(n))$=$\{f(n):$存在正常数$c,{n_0},$使得对所有$n \ge {n_0},$有${\rm{0}} \le f(n) \le cg(n)\}$。
$\Omega$记号 $\Omega (g(n))$=$\{f(n):$存在正常数$c,{n_0},$使得对所有$n \ge {n_0},$有${\rm{0}}\le cg(n)\}\le f(n) \}$。

—–Exercise—–
3.1-1
证明:$\max (f(n),g(n)) = \theta (f(n) + g(n))$
step1: 根据定义,上式等价于 ${c_1}(f(n) + g(n)) \le \max (f(n),g(n)) \le {c_2}(f(n) + g(n))$.
step2: 且根据 $(f(n) + g(n))/2 \le \max (f(n),g(n)) \le f(n) + g(n)$,可知，${c_1}=1/2, {c_2}=1$ 可满足要求，所以得证

3.1-2
证明对任意实常量a和b,其中b>0,有${(n + a)^b} = \theta ({n^b})$
step1: 将上式转换为 ${c_1}{n^b} \le {(n + a)^b} \le {c_2}{n^b}$
step2: 再进一步改为 ${({k_1}n)^b} \le {(n + a)^b} \le {({k_2}n)^b}$,从而只需证 ${k_1}n \le n + a \le {k_2}n$
step3: 当 ${n_0} = \left\lceil {a + 1} \right\rceil$时 $n \ge {n_0}$，${k_1} \to 0,{k_2} = 3$满足条件，得证。

3.1-3
因为O这一符号包含了上限的意思。

3.1-4
${2^{n + 1}} = O({2^n})$成立，${2^{2n}} = O({2^n})$不成立。

3.1-5
条件 $f(n) = O(g(n))$ 和 $f(n) = \Omega (g(n))$
求证 $f(n) = \theta (g(n))$
证明： 根据定义 $0 < f(n) \le {c_2}g(n)$ 和 $0 < {c_1}g(n) \le f(n)$，从而可知存在${c_1}$和${c_2}$使得${c_1}g(n) \le f(n) \le {c_2}g(n)$，从而得证。

3.1-6
根据定理3.1可知。

3.1-7
从定义上来证明。

3.1-8
略

3.2 标准记号与常用函数

—指数—
多项式与指数的增长率之间的关联：$\mathop {\lim }\limits_{n \to \infty } \frac{{{n^b}}}{{{a^n}}} = 0$ (其中a>1) 从而可得 ${n^b} = o({a^n})$ , 任意底大于1的指数函数比任意多项式函数增长的快。

自然对数e: ${e^x} = 1 + x{\rm{ + }}\frac{{{x^2}}}{{2!}} + \frac{{{x^3}}}{{3!}} + ... = \sum\limits_{i = 0}^\infty {\frac{{{x^i}}}{{i!}}}$ (对所有实数x)
从而有不等式 ${e^x} \ge 1 + x$
对所有x，我们有 $\mathop {\lim }\limits_{n \to \infty } {(1 + \frac{x}{n})^n} = {e^x}$

—对数—
${\log _b}a = \frac{{{{\log }_c}a}}{{{{\log }_c}b}}$
${a^{{{\log }_b}c}} = {c^{{{\log }_b}a}}$
多项式与多对数的增长互相关联: $\mathop {\lim }\limits_{n \to \infty } \frac{{{{\lg }^b}n}}{{{n^a}}} = 0$， 从而${\lg ^b}n = o({n^a})$.

—阶乘—
阶乘的斯特林近似公式：$n! = \sqrt {2\pi n} {(\frac{n}{e})^n}(1 + \theta (\frac{1}{n}))$
n! 的上下界: $n! = o({n^n})$, $n! = \omega ({2^n})$, $\lg (n!) = \theta (n\lg n)$
对所有$n \ge 1$有： $n! = \sqrt {2\pi n} {(\frac{n}{e})^n}{e^{{\alpha _n}}}$（其中：$\frac{1}{{12n + 1}} < {\alpha _n} < \frac{1}{{12n}}$）

—斐波那契数—
定义： ${F_0} = 0,{F_1} = 1,{F_i} = {F_{i - 1}} + {F_{i - 2}}(i \ge 2)$
黄金分割率$\phi$及其共轭数$\phi '$的值为：${x^2} = x + 1$的两个根：$\phi = \frac{{1 + \sqrt 5 }}{2} = 1.61803...$ 和 $\phi ' = \frac{{1 - \sqrt 5 }}{2} = - 0.61803...$
斐波那契数和黄金分割率的关系：${F_i} = \frac{{{\phi ^i} - \phi {'^i}}}{{\sqrt 5 }}$
又因为$\left| {\phi '} \right| < 1$， 所以有$\frac{{\left| {\phi {'^i}} \right|}}{{\sqrt 5 }} < \frac{1}{{\sqrt 5 }} < \frac{1}{2}$，从而${F_i} = \left\lfloor {\frac{{{\phi ^i}}}{{\sqrt 5 }} + \frac{1}{2}} \right\rfloor$， 蕴含着斐波那契数以指数形式增长。

—–Exercise—–
3.2-1
条件：$f(n)$和$g(n)$均是单调递增函数
需证：$f(n)+g(n)$和$f(g(n))$也是单调递增的
很明显的感觉！略
若增加条件$f(n)$和$g(n)$均非负，证$f(n)*g(n)$也单调递增
略

3.2-2
证明： ${a^{{{\log }_b}c}} = {c^{{{\log }_b}a}}$
等式两边同时取ln得: 左边=${\log _b}c\ln a = \frac{{\ln c}}{{\ln b}}\ln a$, 右边=${\log _b}a\ln c = \frac{{\ln a}}{{\ln b}}\ln c$. 从而 左边=右边， 得证

3.2-3
根据斯特林公式可得： $n! = \lg (\sqrt {2\pi } {n^{1/2}}) + n\lg \frac{n}{e} + \lg (1 + \theta (1/n)) = n\lg n - n\lg e + \frac{1}{2}\lg n + \theta (n)$
从而例如${c_2} = 2,{c_1} = 1,{n_{\rm{0}}} = 10$便可满足要求，从而得证。 后续的两个证明较易，略。

3.2-4

3.2-5

3.2-6
常规的解二次方程即可。

3.2-7
证明 ${F_i} = \frac{{{\phi ^i} - \phi {'^i}}}{{\sqrt 5 }}$
step1: 当 $i = 0$时 ${F_0}$满足，当$i=1$时 ${F_1}$满足。
step2: 假设${F_n}$及n以前均满足
step3: ${F_{n + 1}} = {F_n} + {F_{n - 1}} = \frac{{{{(\frac{{1 + \sqrt 5 }}{2})}^n} - {{(\frac{{1 - \sqrt 5 }}{2})}^n}}}{{\sqrt 5 }} + \frac{{{{(\frac{{1 + \sqrt 5 }}{2})}^{n - 1}} - {{(\frac{{1 - \sqrt 5 }}{2})}^{n - 1}}}}{{\sqrt 5 }} = \frac{{{{(\frac{{1 + \sqrt 5 }}{2})}^{n + 1}} - {{(\frac{{1 - \sqrt 5 }}{2})}^{n + 1}}}}{{\sqrt 5 }}$得证 (注:其中用到${(\frac{{1 + \sqrt 5 }}{2})^2} = \frac{{3 + \sqrt 5 }}{2}$和${(\frac{{1 - \sqrt 5 }}{2})^2} = \frac{{3 - \sqrt 5 }}{2}$)

3.2-8
用到性质$f(n) = \theta (g(n)) \Leftrightarrow g(n) = \theta (f(n))$。从而有$k\ln k = \theta (n) \Leftrightarrow n = \theta (k\ln k)$，且只需证$k = \theta (n/\ln n) \Leftrightarrow n/\ln n = \theta (k)$
根据$n/\ln n = \theta (\frac{{k\ln k}}{{\ln (k\ln k)}}) = \theta (k)$，从而得证。

思考题

3-1
略

3-2
a. 根据多项式与对数的关系 $\mathop {\lim }\limits_{n \to \infty } \frac{{{{\lg }^b}n}}{{{n^a}}} = 0$可知 ${\lg ^k}n = o({n^\varepsilon })$
b. 根据多项式与指数的关系 $\mathop {\lim }\limits_{n \to \infty } \frac{{{n^b}}}{{{a^n}}} = 0$ (其中a>1) 可知 ${n^k} = o({c^n})$
c. 由于 ${n^{\sin n}}$存在周期性波动(如每半个周期值回到1)，所以不存在上下界关系
d. ${2^n} = {({2^{n/2}})^2}$可知${2^n} = \omega ({2^{n/2}})$
e. 根据 ${a^{{{\log }_b}c}} = {c^{{{\log }_b}a}}$ 可知${n^{\lg c}} = {c^{\lg n}}$，从而 ${n^{\lg c}} = \theta ({c^{\lg n}})$.
f. 根据$n! = \omega ({n^n})$可得 $\lg (n!) = \omega (\lg ({n^n}))$.

3-3

3-4
a. 错误,，如${n^2} = O({n^3})$但${n^3}! = O({n^2})$
b. 错误，如${n^2} + n$不满足
c. 正确， $f(n) = O(g(n)) \Leftrightarrow f(n) \le cg(n)$和$\lg (f(n)) = O(\lg (g(n))) \Leftrightarrow \lg (f(n)) \le c\lg (g(n))$。从而只需满足存在${c_1}$,${c_2}$和${n_0}$使得${c_1}g(n) \le {(g(n))^{{c_2}}}$成立。显然存在。
d. 错误，如$f(n) = {\rm{2}}n,g(n) = n$
e.