第三章、函数的增长 --标准记号与常用函数

单调性

若$m\le n$蕴含$f(m)\le f(n)$，则函数$f(n)是单调递增的$。

若$m\le n$蕴含$f(m)\ge f(n)$，则函数$f(n)是单调递减的$。

若$m<n$蕴含$f(m)<f(n)$，则函数$f(n)是严格递增的$。

若$m<n$蕴含$f(m)>f(n)$，则函数$f(n)是严格递减的$。

向下取整与向上取整

向下取整：表示小于或等于$x$的最大整数，记$\lfloor x\rfloor$。

向上取整： 表示大于或等于$x$的最小整数，记为$\lceil x\rceil$。

对于所有实数：
$$x-1<\lfloor x\rfloor \le x\le \lceil x\rceil <x+1$$
对于任意整数$n$，
$$\lceil n/2\rceil +\lfloor n/2\rfloor =n$$
对任意实数$x\ge 0$和整数$a,b>0$，
$$\begin{array}{rl}& \lceil \frac{\lceil x/a\rceil }{b}\rceil =\lceil \frac{x}{ab}\rceil \\ & \lfloor \frac{\lfloor x/a\rfloor }{b}\rfloor =\lfloor \frac{x}{ab}\rfloor \\ & \lceil \frac{a}{b}\rceil \le \frac{a+(b-1)}{b}\\ & \lfloor \frac{a}{b}\rfloor \ge \frac{a-(b-1)}{b}\end{array}$$

模运算

对任意整数$a$和任意正整数$n$，$amodn$的值就是商$a/n$的余数：
$$amodn=a-n\lfloor a/n\rfloor$$
结果有
$$0\le amodn<n$$

给定一个整数除以另一个整数的余数的良定义后，可以方便地引入表示余数相等的特殊记号。若$(amodn)=(amodn)$，则记$a\equiv b(modn)$，并称模$a$等价于$b$。

多项式

给定一个非负整数$d,n$的$d$次多项式为具有以下形式的一个函数$p(n)$：
$$p(n)=\sum _{i=0}^d{a}_i{n}^i$$

指数

对所有实数$a>0，m和n$，我们有以下恒等式：
$$\begin{array}{rl}& a^0=1\\ & a^1=a\\ & a^{-1}=1/a\\ & (a^m{)}^n=a^{mn}\\ & (a^m{)}^n=(a^n{)}^m\\ & a^m{a}^n=a^{m+n}\end{array}$$
对所有使得$a>1$的实常量$a$和$b$，有
$$\underset{n\to \infty }{\lim }\frac{n^b}{a^n}=0$$

据此可得
$$n^b=o(a^n)$$

因此，任意底大于1的指数函数比任意多项式函数增长得快。

使用$e$来表示自然对数函数的底2.71828…，对所有实数$x$，我们有
$$e^x=1+x+\frac{x^2}{2!}+\frac{x^3}{3!}+\cdot \cdot \cdot =\sum _{i=0}^{\infty }\frac{x^i}{i!}$$
其中"!"表示本节后面定义的阶乘函数。对所有实数$x$，我们有不等式
$$e^x\ge 1+x$$
其中只有当$x=0$时等号才成立。当$|x|\le 1$时，有近似估计
$$1+x\le e^x\le 1+x+x^2$$
当$x\to 0$时，用$1+x$作为$e^x$的近似是相当好的
$$e^x=1+x+\Theta (x^2)$$
（在这个等式中，渐近记号用来描述当$x\to 0$而不是$x\to \infty$时的极限行为）。对所有$x$,我们有
$$\underset{n\to \infty }{\lim }(1+\frac{x}{n}{)}^n=e^x$$

对数

$$\begin{array}{rl}& lgn=lo{g}_{2}n\\ & lnn=lo{g}_{e}n\\ & l{g}^{k}n=(lgn{)}^k\\ & lglgn=lg(lgn)\end{array}$$
对所有实数$a>0,b>0,c>0和n$，有
$$\begin{array}{rl}& lo{g}_c(ab)=lo{g}_{c}a+lo{g}_{c}b\\ & lo{g}_b{a}^n=nlo{g}_{b}a\\ & lo{g}_{b}a=\frac{lo{g}_{c}a}{lo{g}_{c}b}\\ & lo{g}_b(1/a)=-lo{g}_{b}a\\ & lo{g}_{b}a=\frac{1}{lo{g}_{a}b}\\ & a^{lo{g}_{b}c}=c^{lo{g}_{b}a}\end{array}$$
其中，在上面的每个等式中，对数的底不为1。
当$|x|<1$时，$ln(1+x)$存在一种简单的级数展开
$$ln(1+x)=x-\frac{x^2}{2}+\frac{x^3}{3}-\frac{x^4}{4}+\frac{x^5}{5}-\cdot \cdot \cdot$$
对$x>-1$，还有下面的不等式：
$$\frac{x}{1+x}\le ln(1+x)\le x$$
其中仅对$x=0$等号成立。
若对某个常量$k$，$f(n)=O(l{g}^{k}n)$，则称函数$f(n)$是多对数有界的。根据$$\underset{n\to \infty }{\lim }\frac{n^b}{a^n}=0$$
通过用$lgn$代替$n$并用$2^a$代替$a$，可以使多项式与多对数的增长互相关联：
$$\underset{n\to \infty }{\lim }\frac{lo{g}^{b}n}{(2^a{)}^{lgn}}=\underset{n\to \infty }{\lim }\frac{lo{g}^{b}n}{n^a}=0$$
根据这个极限，我们可以得到：对任意常量$a>0$，
$$l{g}^{b}n=o(n^a)$$
因此，任意正的多项式函数都比任意多对数函数增长得快。

阶乘

记号$n!$定义为对整数$n\ge 0$，有
$$n!=\{\begin{array}{ll}1& \text{若}n=0\\ n\cdot (n-1)!& \text{若}n>0\end{array}$$
因此，$n!=1\cdot 2\cdot 3\cdot \cdot \cdot n$。

阶乘函数的一个弱上界是$n!\le n^n$。斯特林近似公式
$$n!=\sqrt{2\pi n}(\frac{n}{e}{)}^n(1+\Theta (\frac{1}{n}))$$
给出了一个更紧确的上界和下界，其中$e$是自然对数的底。
$$\begin{array}{rl}& n!=o(n^n)\\ & n!=\omega (2^n)\\ & lg(n!)=\Theta (nlgn)\end{array}$$
对所有$n\ge 1$，下面的等式也成立
$$n!=\sqrt{2\pi n}(\frac{n}{e}{)}^n{e}^{a_n}$$
其中
$$\frac{1}{12n+1}<a_n<\frac{1}{12n}$$

多重函数

我们使用记号$f^{(i)}(n)$来表示函数$f(n)$重复$i$次作用于一个初值$n$上。形式化地，假设$f(n)$为实数集上的一个函数。对非负整数$i$，我们递归地定义
$$f^{(i)}(n)=\{\begin{array}{ll}n& \text{若}i=0\\ f(f^{(i-1)}(n))& \text{若}i>0\end{array}$$
例如，若$f(n)=2n$，则$f^{(i)}(n)=2^{i}n$

多重对数函数

使用记号$l{g}^{\ast }n$来表示多重对数。假设$l{g}^{(i)}n$定义如上，其中$f(n)=lgn$。因为非正数的对数无定义，所以只有在$l{g}^{(i-1)}n>0$时$l{g}^{(i)}n$才有定义。定义多重对数函数为
l g ∗ n = m i n { i ≥ 0 : l g ( i ) n ≤ 1 } lg^*n=min\{i\geq 0:lg^{(i)}n\leq 1\} lg∗n=min{i≥0:lg(i)n≤1}
多重对数是一个增长非常慢的函数：
$$\begin{array}{rl}& l{g}^{\ast }2=1\\ & l{g}^{\ast }4=2\\ & l{g}^{\ast }16=3\\ & l{g}^{\ast }65536=4\\ & l{g}^{\ast }(2^{65536})=5\end{array}$$
也就是
$$\begin{array}{rl}& 2^1=2\\ & 2^2=4\\ & 2^{2^2}=2^4=16\\ & 2^{2^{2^2}}=2^{16}=65536\\ & 2^{2^{2^{2^2}}}=2^{65536}\end{array}$$

斐波那契数

使用下面的递归式来定义斐波那契数：
$$\begin{array}{rl}& F_0=0\\ & F_1=1\\ & F_i=F_{i-1}+F_{i-2}，i\ge 2\end{array}$$

斐波那契数与黄金分割率$\varphi$及共轭数$\hat{\varphi }$有关，它们是下列方程的两个根：
$$x^2=x+1$$
并且由下面公式给出
$$\begin{array}{rl}& \varphi =\frac{1+\sqrt{5}}{2}=1.61803\cdot \cdot \cdot \\ & \hat{\varphi }=\frac{1-\sqrt{5}}{2}=-0.61803\cdot \cdot \cdot \end{array}$$

特别地，我们有
$$F_i=\frac{{\varphi }^i-{\hat{\varphi }}^i}{\sqrt{5}}$$
因为$|\hat{\varphi }|<1$，所以有
$$\frac{|{\hat{\varphi }}^i|}{\sqrt{5}}<\frac{1}{\sqrt{5}}<\frac{1}{2}$$
这蕴涵着
$$F_i=\lfloor \frac{{\varphi }^i}{\sqrt{5}}+\frac{1}{2}\rfloor$$
所以第$i$个斐波那契数$F_i$等于${\varphi }^i/\sqrt{5}$舍入到最近的整数。因此，斐波那契数以指数形式增长。

练习

当$m\le n$，有$f(m)\le f(n)$和$g(m)\le g(n)$，可证得$f(m)+g(m)\le f(n)+g(n)$。
当$m\le n$，有$g(m)\le g(n)$，可证得$f(g(m))\le f(g(n))$。
如果$f(n)$和$g(n)$是非负的，当$m\le n$，有$f(m)\le f(n)$和$g(m)\le g(n)$，而且$f(m),f(n),g(m),g(n)$皆非负，可证得$f(m)\cdot g(m)\le f(n)\cdot g(n)$。

$$a^{lo{g}_{b}c}=c^{lo{g}_{b}a}\text{\hspace{1em}(3.16)}$$
证明：
$$c^{lo{g}_{b}a}=c^{\frac{lo{g}_{c}a}{lo{g}_{c}b}}=a^{\frac{1}{lo{g}_{c}b}}=a^{lo{g}_{b}c}$$

$$lg(n!)=\Theta (nlgn)\text{\hspace{1em}(3.19)}$$
证明：
根据斯特林近似公式
$$n!=\sqrt{2\pi n}(\frac{n}{e}{)}^n(1+\Theta (\frac{1}{n}))$$
得
$$lg(n!)=\frac{1}{2}lg(2\pi n)+nlgn-nlge+lg(1+\Theta (\frac{1}{n}))$$
去掉低阶项后
$$lg(n!)=\Theta (nlgn)\text{\hspace{1em}(3.19)}$$
证明$n!=\omega (2^n)$
$$\begin{array}{rl}\underset{n\to \infty }{\lim }\frac{n!}{2^n}=& \underset{n\to \infty }{\lim }\frac{\sqrt{2\pi n}(\frac{n}{e}{)}^n(1+\Theta (\frac{1}{n}))}{2^n}\\ =& \underset{n\to \infty }{\lim }\sqrt{2\pi n}(\frac{n}{2e}{)}^n(1+\Theta (\frac{1}{n}))\\ \ge & (\frac{n}{2e}{)}^n=\infty \end{array}$$
证明$n!=o(n^n)$
$$\begin{array}{rl}\underset{n\to \infty }{\lim }\frac{n!}{n^n}=& \underset{n\to \infty }{\lim }\frac{\sqrt{2\pi n}(\frac{n}{e}{)}^n(1+\Theta (\frac{1}{n}))}{n^n}\\ =& \underset{n\to \infty }{\lim }\sqrt{2\pi n}(\frac{n}{en}{)}^n(1+\Theta (\frac{1}{n}))\\ =& \underset{n\to \infty }{\lim }\sqrt{2\pi n}(\frac{1}{e}{)}^n(1+\Theta (\frac{1}{n}))\\ \le & (\frac{c\sqrt{n}}{e^n})=0\end{array}$$

若函数$\lceil lgn\rceil !$多项式有界，那么$\lceil lgn\rceil !=O(n^k)$，令$m=lgn$，则$\lceil lgn\rceil \le m+1$，需证明$(m+1)!=O(2^{mk})$，从上题的结论可以知道$n!=\omega (2^n)$，所以函数$\lceil lgn\rceil !$不是多项式有界。

若函数$\lceil lglgn\rceil !$多项式有界，那么$\lceil lglgn\rceil !=O(n^k)$，令$m=lglgn$，则$\lceil lglgn\rceil \le m+1$，需证明$(m+1)!=O(2^{k\cdot 2^m})$，有：
$$\begin{array}{rl}\underset{m\to \infty }{\lim }\frac{(m+1)!}{2^{k\cdot 2^m}}=& \underset{m\to \infty }{\lim }\frac{lg((m+1)!)}{k\cdot 2^m}\\ =& \underset{m\to \infty }{\lim }\frac{(m+1)lg(m+1)}{k\cdot 2^m}=0\end{array}$$
所以$\lceil lglgn\rceil !=o(n^k)=O(n^k)$，所以$\lceil lglgn\rceil !$多项式有界。

设$n=2^{2^{2^{\cdot \cdot \cdot }}}$，这里有$k$个2，那么 $l{g}^{\ast }n$=k，那么$l{g}^{\ast }(lgn)=k-1$。
$$\begin{array}{r}\underset{n\to \infty }{\lim }\frac{lg(l{g}^{\ast }n)}{l{g}^{\ast }(lgn)}=\underset{k\to \infty }{\lim }\frac{lg(k)}{k-1}=0\end{array}$$
所以$l{g}^{\ast }(lg(n))$增长得更快。

$$\begin{array}{rl}& {\varphi }^2=(\frac{1+\sqrt{5}}{2}{)}^2=\frac{3+2\sqrt{5}}{2}=\varphi +1\\ & {\hat{\varphi }}^2=(\frac{1-\sqrt{5}}{2}{)}^2=\frac{3-2\sqrt{5}}{2}=\hat{\varphi }+1\end{array}$$

当$i=0$时，$F_i=\frac{{\varphi }^0-{\hat{\varphi }}^0}{\sqrt{5}}=0$，所以当$i=0$时，等式成立。
当$i=1$时，$F_i=\frac{\varphi -\hat{\varphi }}{\sqrt{5}}=1$，所以当$i=1$时，等式成立。
假设当$i=n$时，$F_n=\frac{{\varphi }^n-{\hat{\varphi }}^n}{\sqrt{5}}$成立，$i=n+1$时，$F_{n+1}=\frac{{\varphi }^{n+1}-{\hat{\varphi }}^{n+1}}{\sqrt{5}}$也成立，那么$i=n+2$时，有：
$$\begin{array}{rl}{F}_{n+2}=& F_n+F_{n+1}\\ =& \frac{{\varphi }^n-{\hat{\varphi }}^n}{\sqrt{5}}+\frac{{\varphi }^{n+1}-{\hat{\varphi }}^{n+1}}{\sqrt{5}}\\ =& \frac{{\varphi }^n(\varphi +1)-{\hat{\varphi }}^n(\hat{\varphi }+1)}{\sqrt{5}}\\ =& \frac{{\varphi }^n\cdot {\varphi }^2-{\hat{\varphi }}^n\cdot {\hat{\varphi }}^2}{\sqrt{5}}\\ =& \frac{{\varphi }^{n+2}-{\hat{\varphi }}^{n+2}}{\sqrt{5}}\end{array}$$

根据$klnk=\Theta (n)$，有：
$$c_{1}n\le klnk\le c_{2}n$$
可得
$$ln(c_{1}n)\le ln(klnk)\le ln(c_{2}n)$$
展开
$$ln{c}_1+lnn\le lnk+ln(lnk)\le ln{c}_2+ln(lnk)$$
忽略掉低阶项
$$lnk=\Theta (lnn)$$
有
$$c_{3}lnn\le lnk\le c_{4}lnn$$
可得
$$\frac{n}{c_{3}lnn}\le \frac{n}{lnk}\le \frac{n}{c_{4}lnn}$$
结合
$$c_{1}n\le klnk\le c_{2}n$$
可得
$$\begin{array}{rl}& \frac{n}{lnn}\le \frac{c_{3}n}{lnk}\le \frac{c_{3}k}{c_2}\\ & \frac{n}{lnn}\ge \frac{c_{4}n}{lnk}\ge \frac{c_{4}k}{c_1}\\ & \frac{c_{4}k}{c_1}\le \frac{n}{lnn}\le \frac{c_{3}k}{c_2}\end{array}$$