算法导论第三章：函数的增长

算法导论第三章：函数的增长

笔记参考链接：http://www.cnblogs.com/wuwenyan/p/4982713.html

习题参考链接1：http://www.cnblogs.com/Jiajun/archive/2013/05/06/3063574.html

习题参考链接2：https://ita.skanev.com/

笔记

当算法的输入$n$非常大的时候，对于算法复杂度的分析就显得尤为重要，虽然有时我们能通过一定的方法得到较为精确的运行时间，但是很多时候，或者说绝大多数时候，我们并不值得去花精力求得多余的精度，因为精确运行时间中的倍增常量和低阶项已经被输入规模本身的影响所支配。

我们需要关心的是输入规模无限增加，在极限中，运行时间是如何随着输入规模增大而增加的，通常来说，在极限情况下渐进地更优的算法在除很小的输入外的所有情况下将是最好的选择。

前提假设：本章定义的所有用在渐近记号中的函数均渐近非负（包括f(n),g(n)）。

3.1渐近记号

3.1.1 $\Theta$记号

定义：对于一个给定的函数$g(n)$，用$\Theta (g(n))$来表示以下函数的集合：

： 存 在 正 常 量 、 和 ， 使 得 对 所 有 有 Θ ( g ( n ) ) = { f ( n ) ： 存 在 正 常 量 c 1 、 c 2 和 n 0 ， 使 得 对 所 有 n ≥ n 0 , 有 0 ≤ c 1 g ( n ) ≤ f ( n ) ≤ c 2 g ( n ) } ：存在正常量、和，使得对所有有\Theta(g(n))=\{f(n)：存在正常量c_1、c_2和n_0，使得对所有n\geq n_0,有0\leq c_1g(n)\leq f(n)\leq c_2g(n)\} ：存在正常量、和，使得对所有有Θ(g(n))={f(n)：存在正常量c1​、c2​和n0​，使得对所有n≥n0​,有0≤c1​g(n)≤f(n)≤c2​g(n)}

含义是：若存在常数$c_1$和$c_2$，使得对于足够大的$n$，函数$f(n)$能够"夹入$c_{1}g(n)$和$c2g(n)$之间，则$f(n)$属于集合$\Theta (g(n))$。我们称$g(n)$为$f(n)$的一个渐近紧确界（asymptotially tight bound）。

注意：$\Theta (g(n))$是一个函数的集合，所以如果要表示$f(n)$是$\Theta (g(n))$的一员，则需写为$f(n)\in \Theta (g(n))$，但是在很多教材中，通常使用$f(n)=\Theta (g(n))$来表示相同的概念，这属于对于等式的一个活用。

下图形象地表示了渐近紧确界的形式：

3.1.2 $O$记号

定义：对于一个给定的函数$g(n)$，用$O(g(n))$来表示以下函数的集合：

： 存 在 正 常 量 和 ， 使 得 对 所 有 有 O ( g ( n ) ) = { f ( n ) ： 存 在 正 常 量 c 和 n 0 ， 使 得 对 所 有 n ≥ n 0 , 有 0 ≤ f ( n ) ≤ c g ( n ) } ：存在正常量和，使得对所有有O(g(n))=\{f(n)：存在正常量c和n_0，使得对所有n\geq n_0,有0\leq f(n)\leq cg(n)\} ：存在正常量和，使得对所有有O(g(n))={f(n)：存在正常量c和n0​，使得对所有n≥n0​,有0≤f(n)≤cg(n)}

含义是：对于足够大的$n$，$f(n)$的值总小于或等于$cg(n)$。我们称$g(n)$为$f(n)$的一个渐近上界（asymptotic upper bound）。

注意：在很多教材中，会发现用$O(g(n))$来表示一个渐近紧确界，即$\Theta (g(n))$表示的含义，这是不准确的，在算法文献中，标准的做法是区分渐近上界和渐近紧确界。

下图形象地表示了渐近上界的形式：

3.1.3 $\Omega$记号

定义：对于一个给定的函数$g(n)$，用$\Omega (g(n))$来表示以下函数的集合：

： 存 在 正 常 量 和 ， 使 得 对 所 有 有 Ω ( g ( n ) ) = { f ( n ) ： 存 在 正 常 量 c 和 n 0 ， 使 得 对 所 有 n ≥ n 0 , 有 0 ≤ c g ( n ) ≤ f ( n ) } ：存在正常量和，使得对所有有\Omega(g(n))=\{f(n)：存在正常量c和n_0，使得对所有n\geq n_0,有0\leq cg(n)\leq f(n)\} ：存在正常量和，使得对所有有Ω(g(n))={f(n)：存在正常量c和n0​，使得对所有n≥n0​,有0≤cg(n)≤f(n)}

含义是：对于足够大的$n$，$f(n)$的值总大于或等于$cg(n)$。我们称$g(n)$为$f(n)$的一个渐近下界（asymptotic lower bound）。

下图形象地表示了渐近下界的形式：

3.1.4 $o$记号和$\omega$记号

• $o$记号

定义：对于一个给定的函数$g(n)$，用$o(g(n))$来表示以下函数的集合：

： 对 任 何 正 常 量 ， 存 在 常 量 ， 使 得 对 所 有 有 o ( g ( n ) ) = { f ( n ) ： 对 任 何 正 常 量 c > 0 ， 存 在 常 量 n 0 > 0 ， 使 得 对 所 有 n ≥ n 0 , 有 0 ≤ f ( n ) ≤ c g ( n ) } ：对任何正常量，存在常量，使得对所有有o(g(n))=\{f(n)：对任何正常量c>0，存在常量n_0>0，使得对所有n\geq n_0,有0\leq f(n)\leq cg(n)\} ：对任何正常量，存在常量，使得对所有有o(g(n))={f(n)：对任何正常量c>0，存在常量n0​>0，使得对所有n≥n0​,有0≤f(n)≤cg(n)}

含义可类比于$O(g(n))$，但表现的是一个非渐进紧确的上界。理解为$f(n)$比$g(n)$低一级幂次。如$2n$和$3n^2$。

• $\omega$记号

定义：对于一个给定的函数$g(n)$，用$\omega (g(n))$来表示以下函数的集合：

： 对 任 何 正 常 量 ， 存 在 常 量 ， 使 得 对 所 有 有 ω ( g ( n ) ) = { f ( n ) ： 对 任 何 正 常 量 c > 0 ， 存 在 常 量 n 0 > 0 ， 使 得 对 所 有 n ≥ n 0 , 有 0 ≤ c g ( n ) ≤ f ( n ) } ：对任何正常量，存在常量，使得对所有有\omega(g(n))=\{f(n)：对任何正常量c>0，存在常量n_0>0，使得对所有n\geq n_0,有0\leq cg(n)\leq f(n)\} ：对任何正常量，存在常量，使得对所有有ω(g(n))={f(n)：对任何正常量c>0，存在常量n0​>0，使得对所有n≥n0​,有0≤cg(n)≤f(n)}

含义可类比于$\Omega (g(n))$，但表现的是一个非渐进紧确的下界。理解为$f(n)$比$g(n)$高一级幂次。如$2n^3$和$3n^2$。

3.2常用函数性质总结

（1）对任意整数n，存在以下性质：

（2）对于某个常量k，如果存在，则称函数$f(n)$为多项式有界的。

（3）多项式与指数的增长率可以通过以下事实相关联。对于所有使得$a>1$的实常量a和b，有

据此可知

因此，任意底大于1的指数函数增长都比多项式函数快。

（4）在（3）的第一个等式中，用$lgn$代替$n$，并用$2^a$代替$a$，可以使得多项式与多对数的增长相互关联：

可以得到，对于任意常量$a>0$，有

因此，任意正的多项式函数都比任意多对数函数增长快。

（5）阶乘函数的弱上界为$n!<=n^n$，因为在$n$的阶乘中，$n$的每项最多为$n$。斯特林近似公式给出了一个更紧确的上界和下界：

习题

3.1节练习

习题3.1-1

• 假设$f(n)$与$g(n)$都是渐进非负函数。利用$\Theta$记号的基本定义来证明$max(f(n),g(n))=\Theta (f(n)+g(n))$。

存在$c_1=1/2$时，$，max(f(n)，g(n)\ge 1/2(f(n)+g(n)$

存在$c_2=1$时，$，max(f(n)，g(n)\le (f(n)+g(n)$

所以根据$\Theta$记号的基本定义，$，max(f(n)，g(n)=\Theta (f(n)+g(n)$。得证。

习题3.1-2

• 证明：对任意实常数$a$和$b$，其中$b>0$，有$(n+a{)}^b=\Theta (n^b)$。

$(n+a{)}^b=n^b+c_1{n}^{b-1}+c_2{n}^{b-2}+\cdots +a^b=n^b+\Theta (n^{b-1})=\Theta (n^b)$

习题3.1-3

• 解释为什么 “算法A的运行时间至少是$O(n^2)$” 这一表述是无意义的。

记号$O()$表述的是算法运行时间的渐近上界。即，记号$O()$表述的是算法运行时间的最坏情况。而对于部分算法，如插入排序，在输入为增序排列的数组下运行时间为$O(n)$。因此这种表述是无意义的。

习题3.1-4

• $2^{(n+1)}=O(2^n)$成立吗？$2^{(2n)}=O(2^n)$成立吗？

1）证明：存在$c=2,n_0>0$使得 $$对于所有0\le 2^{n+1}\le c{2}^n对于所有n\ge n_0$$ $2^{2n}=O(2^n)$，成立。

2）要使其成立，则$c=\frac{2^{2n}}{2^n}=2^n$。c为正常数，则在n趋于无穷大时，c也趋于无穷大。不存在这样的正常数c。因此不成立。

习题3.1-5

• 证明定理3.1$对任意两个函数和，我们有，当且仅当且对任意两个函数f(n)和g(n)，我们有f(n)=\Theta (g(n))，当且仅当f(n)=O(g(n))且f(n)=\Omega (g(n))$。

由$f(n)=O(g(n))$得当$n\ge n_1$时，$0\le f(n)\le c_{1}g(n)$

由$f(n)=\Omega (g(n))$得当$n\ge n_2$时，$0\le c_{2}g(n)\le f(n)$

所以，当$n>=max(n_1,n_2)$时，$0\le c_{2}g(n)<=f(n)<=c_{1}g(n)$，满足渐近确界定义，得证。

习题3.1-6

• 证明：一个算法的运行时间是$\Theta (g(n))$当且仅当其最坏情况运行时间$O(g(n))$，且最佳情况运行时间是$\Omega (g(n))$。

最坏情况下复杂度为$O(g(n))$说明所有情况时间复杂度为$O(g(n))$，最好情况下时间复杂度为$\Theta (g(n))$说明所有情况时间复杂度为$\Omega (g(n))$，根据定理3.1得算法时间复杂度为$\Theta (g(n))$

习题3.1-7

• 证明$o(g(n))\cap \omega (g(n))$是空集。

$f(n)=o(g(n))$说明对于任意正常数$c,n_0$，对于所有的$n\ge n_0$都有$$对于所有0\le f(n)<cg(n)对于所有n\ge n_0$$ 。这时假设$f(n)=\omega (g(n))$，说明对于任意正常数$c,n_0$，对于所有的$n\ge n_0$都有$$0\le cg(n)<f(n)$$ 然而这样的常数c是存在的，故产生矛盾，可得$o(g(n))\cap \omega (g(n))=\varnothing$。

习题3.1-8

• 可以将我们的表示法扩展到有两个参数n和m的情形，其中$n$和$m$的值可以以不同的速率，互相独立地趋于无穷。对给定的函数$，g(n,m)，O(g(n,m))$为函数集

  存 在 正 整 数 和 ， 使 对 所 有 或 ， 有 O ( g ( n , m ) ) = { f ( n , m ) : 存 在 正 整 数 c , n 0 和 m 0 ， 使 对 所 有 n ≥ n 0 或 m ≥ m 0 ， 有 0 ≤ f ( n , m ) ≤ c g ( n , m ) } 存在正整数和，使对所有或，有O(g(n,m))=\{f(n,m): 存在正整数c,n_0和m_0，使对所有n\geq n_0或m\geq m_0，有0\leq f(n,m)\leq cg(n,m)\} 存在正整数和，使对所有或，有O(g(n,m))={f(n,m):存在正整数c,n0​和m0​，使对所有n≥n0​或m≥m0​，有0≤f(n,m)≤cg(n,m)}

  给出对应的$\Omega (g(n,m))$和$\Theta (g(n,m))$的定义。

1. 存 在 正 整 数 和 ， 使 对 所 有 或 ， 有 Ω ( g ( n , m ) ) = { f ( n , m ) : 存 在 正 整 数 c , n 0 和 m 0 ， 使 对 所 有 n ≥ n 0 或 m ≥ m 0 ， 有 0 ≤ c g ( n , m ) ≤ f ( n , m ) } 存在正整数和，使对所有或，有\Omega(g(n,m))=\{f(n,m): 存在正整数c,n_0和m_0，使对所有n\geq n_0或m\geq m_0，有0\leq cg(n,m)\leq f(n,m)\} 存在正整数和，使对所有或，有Ω(g(n,m))={f(n,m):存在正整数c,n0​和m0​，使对所有n≥n0​或m≥m0​，有0≤cg(n,m)≤f(n,m)}

2) 存 在 正 整 数 和 ， 使 对 所 有 或 有 Θ ( g ( n , m ) ) = { f ( n , m ) : 存 在 正 整 数 c 1 , c 2 , n 0 和 m 0 ， 使 对 所 有 n ≥ n 0 或 m ≥ m 0 , 有 c 1 g ( n , m ) ≤ f ( n , m ) ≤ c 2 g ( n , m ) } 存在正整数和，使对所有或有\Theta(g(n,m))=\{f(n,m): 存在正整数c_1,c_2,n_0和m_0，使对所有n\geq n_0或m\geq m_0, 有c_1g(n,m)\leq f(n,m)\leq c_2g(n,m)\} 存在正整数和，使对所有或有Θ(g(n,m))={f(n,m):存在正整数c1​,c2​,n0​和m0​，使对所有n≥n0​或m≥m0​,有c1​g(n,m)≤f(n,m)≤c2​g(n,m)}

3.2节练习

习题3.2-1

• 证明：若$f(n)$和$g(n)$是单调递增的函数，则函数$f(n)+g(n)$和$f(g(n))$也是单调递增的，此外，若$f(n)$和$g(n)$是非负的，则$f(n)\cdot g(n)$是单调递增的。

由于$f(n)$和$g(n)$单调递增，所以对于任意$x_1<x_2$，都有$$f(x_1)<f(x_2)$$ ，$$g(x_1)<g(x_2)$$所以$$f(x_1)+g(x_1)<f(x_2)+g(x_2)$$， $$f(g(x_1))<f(g(x_2))$$ 。如果当f(x)和g(x)都非负时显然有$$f(x_1)\ast g(x_1)<f(x_2)\ast g(x_2)$$。故均得证。

习题3.2-2

• 证明等式3.16 $a^{{\log }_{b}c}=c^{{\log }_{b}a}$。

$$\lg a^{{\log }_{b}c}={\log }_{b}c\lg a=\frac{\lg a\lg c}{\lg b}$$ ，$$\lg c^{{\log }_{b}a}={\log }_{b}a\lg c=\frac{\lg a\lg c}{\lg b}$$ $$\Rightarrow a^{{\log }_{b}c}=c^{{\log }_{b}a}$$。（取下幂次，得证。）

习题3.2-3

• 证明等式3.19$lg(n!)=\Theta (nlgn)$。并证明$n!=\omega (2^n)$且$n!=o(n^n)$。

证明$\lg (n!)=\Theta (n\lg n)$： $$\lg n!=\sum _{i=1}^n\lg i<\sum _{i=1}^n\lg n=n\lg n$$ $$\sum _{i=1}^n\lg i=\sum _{i=1}^{n/2}[\lg i+\lg (n-i)]=\sum _{i=1}^{n/2}[\lg i(n-i)]>\sum _{i=1}^{n/2}\lg \frac{n^2}{4}=n\lg n-n>\frac{1}{2}n\lg n$$ $$\Rightarrow \lg (n!)=\Theta (n\lg n)$$

证明$n!=\omega (2^n)$： $$当时，\because 当n>4时，i(n-i)>2^2$$ $$\therefore n!=\prod _{i=1}^{n/2}i(n-i)>\prod _{i=1}^{n/2}{2}^2=2^n$$ $$\therefore n!=\omega (2^n)$$

证明$n!=o(n^n)$： $$当时，\because 当n>1时，n!=\prod _{i=1}^{n}i<\prod _{i=1}^{n}n=n^n$$ $$\therefore n!=o(n^n)$$

习题3.2-4

• 函数$\lceil \lg n\rceil !$多项式有界吗？函数$ \lceil \lg {\lg n} \rceil ! $多项式有界吗？

证明$f(n)$是否多项式有界等价于证明$\lg f(n)=O(\lg n)$，这是因为如果$f(n)$多项式有界，则存在正常数$c,k,n_0$使得对于所有的$n>n_0$都有$f(n)<c{n}^k$，即$\lg f(n)<kc\lg n$，所以$\lg f(n)=O(\lg n)$，反之亦然。
对于$\lceil \lg n\rceil !$我们有 $$\lg (\lceil \lg n\rceil !)=\Theta (\lceil \lg n\rceil \lg \lceil \lg n\rceil )\ge \Theta (\lg n\lg \lg n)=\omega (\lg n)$$。 $\lceil \lg n\rceil !$ 非多项式有界

对于 $ \lceil \lg {\lg n} \rceil ! $ 我们有 KaTeX parse error: Expected 'EOF', got '\eqalign' at position 1: \̲e̲q̲a̲l̲i̲g̲n̲ ̲{ & \lg {(\lcei…。 $ \lceil \lg {\lg n} \rceil ! $ 多项式有界

习题3.2-5

• 如下两个函数中，哪一个渐近更大些：$\lg ({\lg }^{\ast }n)$还是${\lg }^{\ast }(\lg n)$。

将${\lg }^{\ast }(n)$看成一个整体，那么$ \lg^(\lg(n))$ 就是先对$n$求了一次对数，因此$ lg^(lg(n)) = lg^*(n) - 1$。

故：$$当时{\lg }^{\ast }\lg n={\lg }^{\ast }n-1>\lg {\lg }^{\ast }n,当{\lg }^{\ast }n>2时$$

习题3.2-6

• 证明：黄金分割率$\varphi$及其共轭数$\hat{\varphi }$都满足方程$x^2=x+1$。

$${\varphi }^2=(\frac{1+\sqrt{5}}{2}{)}^2=\frac{3+\sqrt{5}}{2}=\varphi +1$$ 。$${\hat{\varphi }}^2=(\frac{1-\sqrt{5}}{2}{)}^2=\frac{3-\sqrt{5}}{2}=\hat{\varphi }+1$$

习题3.2-7

• 用归纳法证明：第$i$个斐波那契数满足等式$F_i=\frac{{\varphi }^i-{\hat{\varphi }}^i}{\sqrt{5}}$。其中$\varphi$是黄金分割率且$\hat{\varphi }$是其共轭数。

证明：
当i = 0时， $$\frac{{\varphi }^0-{\hat{\varphi }}^0}{\sqrt{5}}=0=F_0$$ 当i = 1时， $$\frac{{\varphi }^1-{\hat{\varphi }}^1}{\sqrt{5}}=1=F_1$$

假设当i = k-1和i = k时都满足公式，则当i = k+1， $$F_{k+1}=F_k+F_{k-1}=\frac{({\varphi }^k+{\varphi }^{k-1})-({\hat{\varphi }}^k+{\hat{\varphi }}^{k-1})}{\sqrt{5}}=\frac{{\varphi }^{k-1}(\varphi +1)-{\hat{\varphi }}^{k-1}(\hat{\varphi }+1)}{\sqrt{5}}$$，因为$(\varphi +1)={\varphi }^2$且$(\hat{\varphi }+1)={\hat{\varphi }}^2$

得$\frac{{\varphi }^{k-1}(\varphi +1)-{\hat{\varphi }}^{k-1}(\hat{\varphi }+1)}{\sqrt{5}}=\frac{{\varphi }^{k+1}-{\hat{\varphi }}^{k+1}}{\sqrt{5}}$。得证。

习题3.2-8

• 证明：$k\ln k=\Theta (n)$蕴涵着$k=\Theta (n/\ln n)$。

这题要用到性质$g(n)=\Theta (f(n))\iff f(n)=\Theta (g(n))$，所以$k\ln k=\Theta (n)\iff n=\Theta (k\ln k)$， 要证$k=\Theta (n/\ln n)$等价于证$n/\ln n=\Theta (k)$，代入条件得 $$\frac{n}{\ln n}=\Theta (\frac{k\ln k}{\ln (k\ln k)})=\Theta (\frac{k\ln k}{\ln k})=\Theta (k)$$

思考题

3-1（多项式的渐近行为）

• 假设$p(n)={\sum }_{i=0}^d{a}_i{n}^i$是一个关于$n$的$d$次多项式，其中$a_d>0$，$k$是一个常量。使用渐近记号的定义来证明下面的性质。

a. 若$k\ge d$，则$p(n)=O(n^k)$。

b. 若$k\le d$，则$p(n)=\Omega (n^k)$。

c. 若$k=d$，则$p(n)=\Theta (n^k)$。

d. 若$k>d$，则$p(n)=o(n^k)$。

e. 若$k<d$，则$p(n)=\omega (n^k)$。

a. $$P(n)=\sum _{i=0}^d{a}_i{n}^i=n^d\sum _{i=0}^d{a}_i{n}^{i-d}\le n^d\sum _{i=0}^d{a}_i\le c{n}^d\le c{n}^k$$ ，得证。

b. $$P(n)=\sum _{i=0}^d{a}_i{n}^i\ge n^d\ge c{n}^d\ge c{n}_k$$，得证。

c. 由前两问可证。

d. $$P(n)=\sum _{i=0}^d{a}_i{n}^i=n^d\sum _{i=0}^d{a}_i{n}^{i-d}<n^d\sum _{i=0}^d{a}_i<c{n}^d\le c{n}^k$$ ，得证

e. $$P(n)=\sum _{i=0}^d{a}_i{n}^i>n^d>c{n}^d>c{n}_k$$，得证。

3-2（相对渐近增长）

• 为下标中的每对表达式（A，B）指出A是否是B的$、、、或O、o、\Omega 、\omega 或\Theta$。假设$、且k\ge 1、ϵ>0且c>1$均为常量。回答应该以表格的形式，将"是"或"否"写在每个空格中。

A	B	$O$	$o$	$\Omega$	$\omega$	$\Theta$
${\lg }^{k}n$	$n^{ϵ}$	否	否	是	是	否
$n^k$	$c^n$	否	否	是	是	否
$\sqrt{n}$	$n^{\sin n}$	否	否	否	否	否
$2^n$	$2^{n/2}$	是	是	否	否	否
$n^{\lg c}$	$c^{\lg n}$	是	否	是	否	是
$\lg (n!)$	$\lg (n^n)$	是	否	是	否	是

3-3（根据渐近增长率排序）

• a.根据增长的阶来排序下面的函数，即求出满足$g_1=\Omega (g_2)$，$，g_2=\Omega (g_3)，\cdots$，$g_{29}=\Omega (g_{30})$的函数的一种排列$g_1,g_2,\cdots ,g_{30}$。把你的表划分成等价类，使得函数$f(n)$和$g(n)$在相同类中当且仅当$f(n)=\Theta (g(n))$。

$\lg ({\lg }^{\ast }n)$	$2^{{\lg }^n}$	$(\sqrt{2}{)}^{\lg n}$	$n^2$	$n!$	$(\lg n)!$
$(\frac{3}{2}{)}^n$	$n^3$	${\lg }^{2}n$	$\lg (n!)$	$2^{2^n}$	$n^{1/\lg n}$
$\ln \ln n$	${\lg }^n$	$n\cdot 2^n$	$n^{\lg \lg n}$	$\ln n$	$1$
$2^{\lg n}$	$(\lg n{)}^{\lg n}$	$e^n$	$4^{\lg n}$	$(n+1)!$	$\sqrt{\lg n}$
${\lg }^{\ast }(\lg n)$	$2^{\sqrt{2\lg n}}$	$n$	$2^n$	$n\lg n$	$2^{2^{n+1}}$

$$2^{2^{n+1}}>2^{2^n}>(n+1)!>n!>e^n>n{2}^n>2^n>(3/2{)}^n>(\lg n{)}^{\lg n}=n^{\lg \lg n}>(\lg n)!$$ $$>n^3>n^2=4^{\lg n}>n\lg n=\lg (n!)>n=2^{\lg n}>(\sqrt{2}{)}^{\lg n}=\sqrt{n}>2^{\sqrt{2\lg n}}>{\lg }^{2}n>\ln n$$ $$>\sqrt{\lg n}>\ln \ln n>2^{{\lg }^{\ast }n}>{\lg }^{\ast }n={\lg }^{\ast }(\lg n)>\lg ({\lg }^{\ast }n)>n^{1/\lg n}=1$$

• b.给出非负函数$f(n)$的一个例子，使得对所有在$(a)$部分中的函数$，g_i(n)，f(n)$既不是$O(g_i(n))$也不是$\Omega (g_i(n))$。

b. 非连续性函数或者震荡函数就能满足要求，比如 KaTeX parse error: Expected 'EOF', got '\cases' at position 6: f(n)=\̲c̲a̲s̲e̲s̲ ̲{ n, & $-1^n > …或$(2^{2^{2n+1}}{)}^{sinx}$

3-4渐近记号的性质

• 假设$f(n)$和$g(n)$为渐近正函数。证明或反驳下面的每个猜测。
• a.$f(n)=O(g(n))$蕴含$g(n)=O(f(n))$。

错误。反例：$n=O(n^2)$，而$n^2̸=O(n)$ 。

• b.$f(n)+g(n)=\Theta (\min (f(n),g(n)))$。

错误。反例：$n+n^2̸=\Theta (\min (n,n^2))=\Theta (n)$

• c.$f(n)=O(g(n))$蕴含$\lg (f(n))=O(\lg (f(n)))$，其中对所有足够大的$n$，有$\lg (g(n))\ge 1$且$f(n)\ge 1$。

正确。$f(n)\ge 1$且$f(n)=O(g(n))$，即存在$c,n_0>0$使得任意$n>n_0$有$0\le f(n)\le cg(n)\Rightarrow 0\le \lg f(n)\le \lg (cg(n))=\lg c+\lg g(n)$

因为$\lg (g(n))\ge 1$，当$c^{\prime }=\lg c+1$，$n_0^{\prime }$足够大，有
KaTeX parse error: No such environment: align at position 7: \begin{̲a̲l̲i̲g̲n̲}̲ \lg{f(n)} &\le…

即有$\lg (f(n))=O(lg(g(n)))$。

• d.$f(n)=O(g(n))$蕴含$2^{f(n)}=O(2^{g(n)})$。

错误。反例：$2n=O(n)$ 但$2^{2n}=4^n̸=O(2^n)$。

• e.$f(n)=O((f(n){)}^2)$。

$，n>n_0，f(n)\ge 1$正确。$f(n)\le cf(n)\le c(f(n){)}^2$。否则错误。

• f.$f(n)=O(g(n))$蕴含$g(n)=\Omega (f(n))$。

正确。$0\le f(n)\le cg(n)\Rightarrow cg(n)\ge f(n)\ge 0\Rightarrow g(n)\ge (1/c)f(n)\ge 0$。得证。

• g.$f(n)=\Theta (f(n/2))$。

错误。反例：$2^n=\Theta (2^n)=\omega (2^{n/2})$

• h.$f(n)+o(f(n))=\Theta (f(n))$。

正确，$g(n)=o(f(n))$表明存在正常数$n_0$对于任意正常数$c$，对所有$n\ge n_0$都有$g(n)<f(n)$，所以对于所有$n\ge n_0$都有$f(n)+o(f(n)))<f(n)+f(n)=2f(n)$，得证。

3-5$O$与$\Omega$的一些变形

• 某些作者用一种与我们稍微不同的方式来定义$\Omega$：假设我们使用$\stackrel{\infty }{\Omega }$（读作“$\Omega$无穷”）来表示这种可选的定义。若存在正常量$c$，使得对无穷多个整数$n$，有$f(n)\ge cg(n)\ge 0$，则称$f(n)=\stackrel{\infty }{\Omega }(g(n))$。

• a.证明：对渐近非负的任意两个函数$f(n)$和$g(n)$，或者$f(n)=O(g(n))$或者$f(n)=\stackrel{\infty }{\Omega }(g(n))$或者二者均成立，然而，如果使用$\Omega$来替代$\stackrel{\infty }{\Omega }$，那么该命题不为真。

反例：$n=\stackrel{\infty }{\Omega }(n^{\sin n})$，但$n̸=\Omega (n^{\sin n})$。$\stackrel{\infty }{\Omega }$无法约束震荡函数。

• b.描述用$\stackrel{\infty }{\Omega }$代替$\Omega$来刻画程序运行时间的潜在优点与缺点。

优点：$\stackrel{\infty }{\Omega }$对下界要求更松，兼容的更多的情况；缺点：导致非严格的渐进下界。因此实际意义并不大。

• 某些作者也用一种稍微不同的方式来定义$O$；假设使用$O^{\prime }$来表示这种可选的定义。我们称$f(n)=O^{\prime }(g(n))$当且仅当$|f(n)|=O(g(n))$。
• c.如果使用$O^{\prime }$代替$O$但仍然使用$\Omega$，定理3.1中的"当且仅当"的每个方向将出现什么情况？

$O^{\prime }$的约束更弱了。定理3.1只能是充分条件不是必要条件了，因为$f(n)\ge cg(n)$可以推出$|f(n)|\ge cg(n)$但是 $|f(n)|\ge cg(n)$不能推出$f(n)\ge cg(n)$。

• 有些作者定义KaTeX parse error: Expected group after '\tilde' at position 7: \tilde\̲O̲（读作“软O”）来意指忽略对数因子的$O$：
  • KaTeX parse error: Expected '}', got '\O' at position 21: …和，使得对所有有\tilde{\̲O̲}(g(n))=\{f(n):…
• d.用一种类似的方式定义$\tilde{\Omega }$和$\tilde{\Theta }$。证明与定理3.1相对应的类似结论。

KaTeX parse error: Expected 'EOF', got '\eqalign' at position 3: 对有\̲e̲q̲a̲l̲i̲g̲n̲ ̲{ \tilde \Omega… KaTeX parse error: Expected 'EOF', got '\eqalign' at position 3: 对有\̲e̲q̲a̲l̲i̲g̲n̲ ̲{ \tilde \Theta… 定理3.1由定义可知。

3-6多重函数

• 我们可以把用于${\lg }^{\ast }$中的重复操作符 $\ast$ 应用于实数集上的任意单调递增函数$f(n)$。对给定的常量$c\in \mathbb{R}$，我们定义多重函数$f_c^{\ast }$为 f c ∗ ( n ) = min ⁡ { i ≥ 0 : f ( i ) ( n ) ≤ c } f_c^*(n)=\min\{i\ge0:f^{(i)}(n)\le c\} fc∗​(n)=min{i≥0:f(i)(n)≤c}。该函数不必在所有情况下都为良定义的。换句话说，值$f_c^{\ast }(n)$是为缩小其参数到 $c$ 或更小所需函数$f$重复应用的数目。对如下每个函数$f(n)$和常量$c$，给出$f_c^{\ast }(n)$的一个尽量准确的界。

$f(n)$	$c$	$f_c^{\ast }(n)$
$n-1$	$0$	$\Theta (n)$
$\lg n$	$1$	$\Theta ({\lg }^{\ast }n)$
$n/2$	$1$	$\Theta (\lg n)$
$n/2$	$2$	$\Theta (\lg n)$
$\sqrt{n}$	$2$	$\Theta (\lg \lg n)$
$\sqrt{n}$	$1$	无法收敛
$n^{1/3}$	$2$	$\Theta ({\log }_3\lg n)$
$n/\lg n$	$2$	$\omega (lglgn),o(lgn)$

$f(n)=\sqrt{n}$ 。KaTeX parse error: No such environment: align at position 7: \begin{̲a̲l̲i̲g̲n̲}̲ {{{n^{\frac{1}…

$f(n)=n/\lg n$，当$n$足够大，$n/\sqrt{n}<n/\lg n<n/2$。