算法导论第3章习题解析

3.1-1:

证明：由题意可知 , $f(n),g(n)$ 渐进非负 , 则存在 $n'\gt0$ ,使得当 $n \geq n'$ 时，$f(n) \geq 0 , g(n)\geq0$ 同时成立.

令 $h(n) = max ( f(n),g(n) )$.那么 , $h(n)$ 可以表示为：

$$h(n) = \dfrac{|f(n) - g(n)| + g(n) + f(n)}{2}$$ 此题要求证明 , $\exists c_1 > 0 , c_2 > 0$ , 使得当 $n \ge n_0$ 时， $$0 \leq c_1(f(n) + g(n))\leq h(n) \leq c_2(f(n) + g(n))$$ 成立.

注意到 :

$$\dfrac{1}{2}(f(n) + g(n)) \leq \dfrac{|f(n) - g(n)| + g(n) + f(n)}{2} \leq f(n) + g(n)$$

所以取 $c_1 = \dfrac{1}{2} , c_2 = 1 , n_0 = n'$ , 可使得当 $n \geq n_0$ 时 ,

$$0 \leq c_1(f(n) + g(n))\leq h(n) \leq c_2(f(n) + g(n))$$

即 : $max (f(n),g(n)) = \Theta(f(n) + g(n))$ 成立 , 从而得证.

3.1-2:

证明：取 $n_0 = 2|a|$，则当 $n \ge n_0$ ，即 $n \ge 2|a|$ 时，我们有：

$- \dfrac{n}{2} \le a \le \dfrac{n}{2}$，从而有 $\dfrac{n}{2} \le n+a \le \dfrac{3n}{2}$.

则，$(\dfrac{1}{2})^bn^b \le (n+a)^b \le (\dfrac{3}{2})^bn^b$ 对于任意 $n \ge n_0$ 均成立.

所以，可取 $c_1 = (\dfrac{1}{2})^b$，$c_2 = (\dfrac{3}{2})^b$，$n_0 = 2|a|$，当 $n \ge n_0$ 时，

$$c_1n^b \le (n+a)^b \le c_2n^b$$

成立，即 $(n+a)^b = \Theta(n^b)$，得证.

3.1-3：

因为 $O(n^2)$ 描述的是算法运行时间的上界，而“至少”描述的是算法的运行时间的下界，因此“算法 A 的运行时间至少是 $O(n)$ ”这一表述是无意义的。

3.1-4:

$2^{n+1} = O(2^n)$ 成立，而 $2^{2n} = O(2^n)$ 不成立

3.1-5:

证明：先证明充分性

由 $f(n) = O(g(n))$ 可知：

存在正常数 $c$ 和 $n_0$，使得对所有 $n \ge n_0$，有 $0 \le f(n) \le cg(n)$.

又由 $f(n) = \Omega(g(n))$ 可知：

存在正常数 $c'$ 和 $n_0'$，使得对所有 $n \ge n_0'$，有 $0 \le c'g(n) \le f(n)$.

综上，存在正常数 $c_1 = c'$，$c_2 = c$，使得当 $n \ge max(n_0,n_0'))$ 时，下式

$c'g(n) \le f(n) \le cg(n)$ 成立，即 $f(n) = \Theta(g(n))$ 成立.

再证明必要性：

由 $f(n) = \Theta(g(n))$ 可知，存在正常数 $c_1,c_2,n_0$ 使得当 $n \ge n_0$ 时，下式

$0 \le c_1g(n) \le f(n) \le c_2g(n)$ 成立，即 $f(n) = O(g(n))$ 且 $f(n) = \Omega(g(n))$.

综上，得证.

3.1-6:

证明：其最坏情况运行时间为 $O(g(n))$，则 $f(n) \le O(g(n))$，其最好情况的运行时间为 $\Omega(g(n))$，则 $f(n) = \Omega(g(n))$ 由 3.1-5 的证明方法可以证明本题.

3.1-7:

本题可用反证法来证明：

证明：假设集合 $A = o(g(n)) \cap w(g(n))$ 不为空，那么存在 $f(n) \in A$，满足：

对于任意正常量 $c_1 \ge 0$，存在常量 $n_0 \ge 0$，使得对所有 $n \ge n_0$，有 $0 \le f(n) \le cg(n)$；同时对于任意常量 $c_2 \ge 0$，存在常量 $n_0' \ge 0$，使得对所有 $n \ge n_0'$，有 $0 \le cg(n) \le f(n)$.

那么当 $n \ge max(n_0,n_0')$，有 $c_2g(n) < f(n) <c_1g(n)$，因为 $c_1，c_2$ 可以是任意正常量，那么当 $c_1 = c_2 = c$(其中 $c$ 为任意常量)，满足条件的 $f(n)$ 并不存在，所以集合 $A$ 必为空.

3.1-8:
略.

3.2-1:

证明：由题意可知，$f(n)$，$g(n)$ 单调递增，则取 $n_1$ ，$n_2$，当满足 $n_1 \le n_2$ 时，有

$f(n_1) \le f(n_2)$，$g(n_1) \le g(n_2)$，则 $f(n_1) + g(n_1) \le f(n_2) + g(n_2)$，$f(g(n_1)) \le f(g(n_2))$.

所以 $f(n) + g(n)，f(g(n))$ 为单调增函数，如果 $f(n)$，$g(n)$ 都为非负函数，那么有：

$0 \le f(n_1) \le f(n_2)$，$0 \le g(n_1) \le g(n_2)$，从而有 $0 \le f(n_1)g(n_1) \le f(n_2)g(n_2)$.因此

$f(n)g(n)$ 也是增函数.

3.2-2:

证明：令 $n = \log_bc \Rightarrow c = b^n$，则 $c^{\log_ba} = b^{n\cdot\log_ba} = a^n = a^{\log_bc}$，得证.

3.2-3：

证明：(1) 先证明 $lg(n!) = \Theta(nlgn)$.

由斯特林渐进公式，我们有：

$$n! = \sqrt{2 \pi n} \cdot (\frac{n}{e})^n\cdot e^{\alpha_n},其中(\frac{1}{12n+1} < \alpha_n < \frac{1}{12n})$$

对于上式左边的乘数因子 $e^{\alpha_n}$，当 $n\to\infty$ 时，$e^{\alpha_n} \to 1$，从而 $n!\approx \sqrt{2 \pi n} \cdot (\frac{n}{e})^n$，此时，我们有：

$$lg(n!) \approx lg( \sqrt{2 \pi n} \cdot (\frac{n}{e})^n)$$ $$=lg( \sqrt{2 \pi n}) + lg(\frac{n}{e})^n$$ $$=\frac{1}{2}\cdot lg(2\pi) + \frac{1}{2} \cdot lg(n) + n\cdot lg(n) - n\cdot lg(e)$$ $$=\Theta(1)+\Theta(lg(n))+\Theta(nlg(n))-\Theta(n)$$ $$=\Theta(nlg(n))$$

得证.

(2) 证明 $n! = o(n^n)$.

显然，当$n > 1$ 时，$n\cdot (n-1)\cdots 2\cdot1 < \underbrace{n\cdot n\cdot n\cdots n}_{n个n}$ 成立，所以 $n! = o(n^n)$.

(3) 证明$n! = w(2^n)$.

与证明 (2) 类似，显然当 $n \ge 4$ 时，$n! > \underbrace{ 2\cdot2 \cdots2}_{n个2} = 2^n$，所以 $n! = w(2^n)$

3.2-4:

(1). 先来考察 $\lceil lgn \rceil !$

如果 $f(n)$ 是多项式有界的，那么存在 $c \ge 0,k \ge 0,n_0 \ge 0$ ，对所有的 $n\ge n_0$ ，有 $f(n) \le cn^k$，此时，我

们有：

$$lg(f(n)) \le lg(cn^k) = O(lgn)$$

反之亦然.

由 3.2-3，$lg(n!) = \Theta(nlg(n))$，又 $n \le \lceil n \rceil \le n +1 \le 2n$，所以 $\lceil n \rceil = \Theta(n)$

对于 $\lceil lgn \rceil !$，我们有：

$$lg( \lceil lgn \rceil !) = \Theta(\lceil lgn \rceil lg(\lceil lg(n) \rceil))=\Theta(lgn \cdot lg(lgn)) = w(lgn)$$

从而，$lg(\lceil lgn \rceil) \neq O(lgn)$，所以，$\lceil lgn \rceil !$ 不是多项式有界的.

(2) 再来考察 $\lceil lg(lgn) \rceil !$，在渐进意义下，$lg(\lceil lg(lgn) \rceil !) \le lg(n)$，即$lg(\lceil lg(lgn) \rceil !) = O(lg(n))$，所以 $\lceil lg(lgn) \rceil !$ 是多项式有界的.

3.2-5:

$lg^*(n)$表示作用到 $n$ 的 $lg$ 函数的次数，从而使得其结果小于等于0.

令 $lg^*n = x$，则 $lg(lg^*n) = lg(x)$，$lg^*(lg(n)) = x- 1$.

在渐进意义下，$x- 1 \ge lg(x)$，所以 $lg^*(lg(n))$的渐进大于$lg(lg^*(n))$.

3.2-6:

略

3.2-7:

根据定义：

$$\phi = \frac{1+\sqrt{5}}{2},\quad \hat{ \phi} = \frac{1-\sqrt{5}}{2}$$
而斐波那契数定义如下：
$$\begin{equation} F_{i}=\begin{cases} 0 &\mbox{$i=0$}\\ 1 &\mbox{$i=1$}\\ F_{i-1}+F_{i-2} &\mbox{$i \ge 2$} \end{cases} \end{equation}$$

(1)基本情况：

$$F_0 = \frac{\phi^0-\hat{\phi^0}}{\sqrt{5}} = 0$$ $$F_1 = \frac{\phi^1-\hat{\phi^1}}{\sqrt{5}} = 1$$
满足 $$F_i = \frac{{\phi}^i - \hat{\phi^i}}{\sqrt{5}}$$
(2)归纳：

假设 $k\ge2$，当 $i = k,i = k-1$时，$F_i = \frac{{\phi}^i - \hat{\phi^i}}{\sqrt{5}}$ 成立，那么当$i=k+1$ 时，根据斐波那契数定义，有：

$$\begin{equation} \begin{split} F_{k+1}& = F_{k}+F_{k-1} \\& =\frac{\phi^k-\hat{\phi^k}}{\sqrt{5}} + \frac{\phi^{k-1}-\hat{\phi^{k-1}}}{\sqrt{5}} \\& = \frac{({\phi}^k+{\phi}^k)-(\hat{\phi^k}+\hat{\phi^{k-1}})}{\sqrt{5}} \\& = \frac{\phi^{k-1}(\phi+1)-\hat{\phi^{k-1}}(\hat{\phi}+1)}{\sqrt{5}} \\& = \frac{\phi^{k+1}\phi^2-\hat{\phi^{k-1}}\hat{\phi^2}}{\sqrt{5}} \\& = \frac{\phi^{k+1}-\hat{\phi^{k+1}}}{\sqrt{5}} \end{split} \end{equation}$$
即： $F_{k+1} = \frac{\phi^{k+1}-\hat{\phi^{k+1}}}{\sqrt{5}}$，从而得证.

3.2-8:

由 $klnk = \Theta(n)$ 可知，存在常量 $c_1$，$c_2$，$n_0 > 0$，当 $n\ge n_0$ 时，有：

$$0\le c_{1} n \le klnk \le c_{2}n$$ 这里假设 $n_0 \ge e$，从而 $lnn > 1$，进一步有： $$\frac{c_1n}{lnn} \le \frac{klnk}{lnn} \le \frac{c_2n}{lnn}\qquad(1).$$ 如果对不等式 $c_{1} n \le klnk \le c_{2}$ 的各项同时取对数，则有：
$$ln(c_1n)\le ln(klnk) \le ln(c_2n)$$ 进一步有： $$lnc_1+lnn \le lnk+lnlnk\le lnc_2+lnn$$ 如果 $k$ 足够大，$lnk+lnlnk<2lnk$，从而有： $$lnc_1+lnn < 2lnk$$ $$\Rightarrow \frac{lnc_1}{2lnn}+\frac{1}{2}< \frac{lnk}{lnn}$$ $$\Rightarrow \frac{1}{2}k < k\frac{lnk}{lnn}\qquad(2).$$ 同时，因为 $lnk+lnlnk > lnk$，从而又有： $$lnk<lnc_2+lnn$$ $$\Rightarrow \frac{lnk}{lnn} < \frac{lnc_2}{lnn}+1$$ $$\Rightarrow \frac{lnk}{lnn} < 2$$ $$\Rightarrow k\frac{lnk}{lnn} < 2k$$ 由 $(1),(2)$ 有: $$\frac{1}{2} k < k\frac{lnk}{lnn}\le\frac{c_2n}{lnn}\Rightarrow k<\frac{2c_2n}{lnn}\qquad(4)$$ 由 $(1),(3)$ 有: $$\frac{c_1n}{lnn}\le k\frac{lnk}{lnn}<2k\Rightarrow k>\frac{c_1n}{2lnn}\qquad(5)$$ 由 $(4),(5)$有: $$\frac{c_2}{2}\cdot \frac{n}{lnn} < k < 2c_2\cdot\frac{n}{lnn}$$ 根据 $\Theta$ 记号的定义， $$k = \Theta(\frac{n}{lnn}).$$

思考题：

3-1:

(a):$k \ge d$

$$\begin{equation} \begin{split} p(n)& = \sum_{i=0}^{d}a_in^i \\& \le \sum_{i=0}^{d}|a_i|n^i\qquad \mbox{$(n\ge0)$} \\& \le \sum_{i=0}^{d}|a_i|n^k\qquad \mbox{$(n\ge1)$} \end{split} \end{equation}$$

根据 $O$ 记号定义，取 $n_0 = 1,c=\sum_{i=0}^{d}|a_i|,$则当 $n\ge n_0$，有 $0\le p(n) \le cn^k$，

所以 $p(n) \le O(n^k)$ 成立.

(b):$k \le d$

$$cn^k \le cn^d , \mbox{$n \ge 1$}$$

如果有 $cn^d \le \sum_{i=0}^{d}(a_in^i)$，那么也就有 $cn^k \le \sum_{i=0}^{d}(a_in^i)$，从而可根据 $O$ 记号的定义来证明 $p(n) = \Omega(n^k)$.

$$cn^d \le \sum_{i=0}^{d}(a_in^d)=\sum_{i=0}^{d-1}(a_in^i)+a_dn^d$$ $$\Rightarrow cn^d \le \sum_{i=0}^{d-1}(a_ini)+a_dn^d\qquad(1)$$

在 $(1)$ 中，令 $c = \frac{a_d}{2}$，并代入$(1)$ 式，则有：

$$\frac{a_dn^{d}}{2}\le \sum_{i=0}^{d-1}(a_ini)+a_dn^d$$ $$\Rightarrow 0 \le \sum_{i=0}^{d-1}(a_in^i)+\frac{a_dn^{d}}{2}$$ $$\Rightarrow -\sum_{i=0}^{d-1}(a_in^i) \le \frac{a_dn^{d}}{2}\qquad(2)$$

由于：

$$-\sum_{i=0}^{d-1}(a_in^i)=\sum_{i=0}^{d-1}(-a_in^i) \le \sum_{i=0}^{d-1}(|a_i|n^i)\le (\sum_{i=0}^{d-1}|a_i|)n^{d-1}$$

所以，只要有

$$(\sum_{i=0}^{d-1}|a_i|)n^{d-1} \le \frac{a_dn^{d}}{2}\qquad (3)$$

成立，那么 $(2)$ 式也就成立，由 $(3)$ 式

$$\Rightarrow n \ge \frac{\sum_{i=0}^{d-1}|a_i|}{\frac{a_d}{2}}$$

所以，当$c = \frac{a_d}{2} 和\ n \ge max\{ \frac{ \sum_{i=0}^{d-1}|a_i|}{\frac{a_d}{2}},1\}$ 有 $cn^k \le \sum_{i=0}^{d}a_in^i = p(n)$，进一步有 $p(n) = \Omega(n^k)$

(c).$k = d$

由 $(a)$ 部分可知，取 $n_0 = 1,c_{1}=\sum_{i=0}^{d}|a_i|,$则当 $n\ge n_0$，有 $0\le p(n) \le c_1n^k$.

由$(b)$ 部分可知，取 $n_0 = max\{1,\frac{\sum_{i=0}^{d-1|a_i|}}{\frac{a_d}{2}}\},c_{2}=\frac{a_d}{2}$ 则当 $n \ge n_0$，有 $c_2n^k \le p(n) \le c_2n^k.$

综上，$p(n) = \Theta(n^k)$

(d).$k > d$.

$即是要证明,对任意的\ c > 0,总能找到\ n_0(其值依赖于c),使得:$

$$p(n)= \sum_{i=0}^{d}a_in^i < cn^k,\forall n\ge n_0.\ (1)$$ 成立。由于: $$p(n) = \sum_{i=0}^{d}a_in^i \le (\sum_{i=0}^{d}|a_i|)n^d,\ (n\ge 1)$$ 所以只要 $$(\sum_{i=0}^{d}|a_i|)n^d < cn^k. \ (2)$$ 成立，那么 $(1)$ 式就成立. 由 $(2)$ 式，有： $$n\ge \sqrt[k-d]{\frac{\sum_{i=0}^{d}|a_i|}{c}}$$ $所以对任意的\ c > 0,当$ $$n > n_0 = max \{1,(\frac{\sum_{i=0}^{d}|a_i|}{c})^{\frac{1}{k-d}}\}$$ 时，就有 $p(n) < cn^k,即,\ p(n) = o(n^k).$

(e).$k<d$.

$即是要证明，对于任意的\ c > 0\ 存在\ n_0 > 0(其值依赖于\ c)，使得：$

$$cn^k < p(n) = \sum_{i=0}^{d}a_in^i$$ $成立。由(b)部分可知：$
$$\begin{equation} \begin{split} \sum_{i=0}^{d}(a_in^i)&> (\frac{a_d}{2}n^d),\forall n > max\{1,\frac{\sum_{i=0}^{d-1}|a_i|}{a_d/2}\} \\ &>cn^k\frac{a_dn^{d-k}}{2c}\\ &>cn^k,\forall n > (\frac{2c}{a_d})^{k-d} \end{split} \end{equation}$$
$选择：$ $$n_0 = max\{ 1,\frac{\sum_{i=0}^{d-1}|a_i|}{a_d/2},(\frac{2c}{a_d})^{k-d} \}$$