算法设计与分析｜基础知识

基础知识

算法分析

我们先来求解一个排序问题：

输入： $n$个数的一个序列$⟨a_1,a_2,\cdots ,a_n⟩$。

输出： 输入序列的一个排列$⟨a_1^{\prime },a_2^{\prime },\cdots ,a_n^{\prime }⟩$，满足$a_1^{\prime }\le a_2^{\prime }\le \cdots a_n^{\prime }$。

插入排序的算法伪代码如下：

for $j=2$ to $j$.$length$

• $key=A$[$j$]
• // Insert $A$[$j$] into the sorted sequence $A$[$1..j-1$]
• $i=j-1$
• while $i>0$ and $A$[$i$]$>key$
  • $A[i+1]=A[i]$
  • $i=i-1$
• $A[i+1]=key$

为分析这个算法的时间代价，我们假定第$i$行所需的时间代价为$c_i$。我们首先给出这个过程中每条语句的执行时间和执行次数。其中，$t_j$表示对于特定的$j$执行while循环的次数。

伪代码	代价	次数
for $j=2$ to $j$.$length$	$c_1$	$n$
$key=A$[$j$]	$c_2$	$n-1$
// Insert $A$[$j$] into the sorted sequence $A$[$1..j-1$]	$0$	$n-1$
$i=j-1$	$c_4$	$n-1$
while $i>0$ and $A$[i]$>key$	$c_5$	${\sum }_{j=2}^n{t}_j$
$A[i+1]=A[i]$	$c_6$	${\sum }_{j=2}^n(t_j-1)$
$i=i-1$	$c_7$	${\sum }_{j=2}^n(t_j-1)$
$A[i+1]=key$	$c_8$	$n-1$

总运行时间$T(n)$为代价与次数之积求和，得：

$$T(n)=c_{1}n+c_2(n-1)+c_4(n-1)+c_5\sum _{j=2}^n{t}_j+c_6\sum _{j=2}^n(t_j-1)+c_7\sum _{j=2}^n(t_j-1)+c_8(n-1)$$

当输入的数组已排好序时，则出现最佳情况，此时$t_j=1$。从而

$$\begin{array}{rl}T(n)& =c_{1}n+c_2(n-1)+c_4(n-1)+c_5(n-1)+c_8(n-1)\\ & =(c_1+c_2+c_4+c_5+c_8)n-(c_2+c_4+c_5+c_8)\end{array}$$

可将该运行时间表示为$an+b$，因此，它是$n$的线性函数。

当输入的数组已反向排序时，则出现最坏情况。此时，$t_j=j$。利用以下公式：

$$\begin{gathered} \sum _{j=2}^{n}j=\frac{n(n+1)}{2}-1 \\ \sum _{j=2}^n(j-1)=\frac{n(n-1)}{2} \end{gathered}$$

可得

$$\begin{array}{rl}T(n)& =c_{1}n+c_2(n-1)+c_4(n-1)+c_5(\frac{n(n+1)}{2}-1)+c_6(\frac{n(n-1)}{2})+c_7(\frac{n(n-1)}{2})+c_8(n-1)\\ & =(\frac{c_5+c_6+c_7}{2})n^2+(c_1+c_2+c_4+\frac{c_5-c_6-c_7}{2}+c_8)n-(c_2+c_4+c_5+c_8)\end{array}$$

可将该运行时间表示为$a{n}^2+bn+c$，因此，它是$n$的二次函数。

当忽略低阶项$bn+c$和常量系数$a$时，只剩下因子$n^2$，记为$\Theta (n^2)$。

---

$\Theta$记号

我们使用$\Theta (g(n))$表示以下函数的集合：

Θ ( g ( n ) ) = { f ( n ) : 存 在 正 常 量 c 1 、 c 2 和 n 0 ， 使 得 对 所 有 n ≥ n 0 ， 有 0 ≤ c 1 g ( n ) ≤ f ( n ) ≤ c 2 g ( n ) } \Theta(g(n))=\lbrace f(n):存在正常量c_1、c_2和n_0，使得对所有n\geq n_0，有0\leq c_1 g(n) \leq f(n) \leq c_2 g(n) \rbrace Θ(g(n))={f(n):存在正常量c1​、c2​和n0​，使得对所有n≥n0​，有0≤c1​g(n)≤f(n)≤c2​g(n)}

因为$\Theta (g(n))$是一个集合，所以可以记“$f(n)\in \Theta (g(n))$”。但是，我们通常记$f(n)=\Theta (g(n))$以表达相同的概念。

练习

3.1-1 假设$f(n)$与$g(n)$都是渐进非负函数（当$n$足够大时非负的函数）。使用$\Theta$记号的基本定义来证明$\max (f(n),g(n))=\Theta (f(n)+g(n))$。

证明： 根据$\Theta$记号的基本定义，要找到$c_1$使得$c_1(f(n)+g(n))\le \max (f(n),g(n))$。

不妨设$n$足够大时，$f(n)\le g(n)$，则将不等式放缩得到$c_1(f(n)+g(n))\le c_1(g(n)+g(n))\le \max (f(n),g(n))$，即

$$2c_{1}g(n)\le \max (f(n),g(n))$$

又根据$\max$的定义，

$$g(n)\le \max (f(n),g(n))$$

所以取

$$c_1=\frac{1}{2}$$

即可。

根据$\Theta$记号的基本定义，要找到$c_2$使得$\max (f(n),g(n))\le c_2(f(n)+g(n))$。显然，

$$\max (f(n),g(n))\le f(n)+g(n)$$

所以取

$$c_2=1$$

即可。

3.1-2 求证：对任意实常量$a$和$b$，其中$b>0$，有

$$(n+a{)}^b=\Theta (n^b)$$

证明： $n$足够大时，

$$\begin{array}{rl}{c}_1{n}^b& \le (n+a{)}^b\\ c_1& \le (\frac{n+a}{n}{)}^b\\ c_1& \le (1+\frac{a}{n}{)}^b\end{array}$$

所以取

$$c_1=\{\begin{array}{ll}1& (a\ge 0)\\ (1+\frac{a}{n_0}{)}^b& (a<0，n_0为正整数且\frac{a}{n_0}<1)\end{array}$$

即可。

$$\begin{array}{rl}{c}_2{n}^b& \ge (n+a{)}^b\\ c_2& \ge (\frac{n+a}{n}{)}^b\\ c_2& \ge (1+\frac{a}{n}{)}^b\end{array}$$

所以取

$$c_2=\{\begin{array}{ll}(1+a{)}^b& (a\ge 0)\\ 1& (a<0)\end{array}$$

即可。

3.1-4 $2^{n+1}=O(2^n)$成立吗？$2^{2n}=O(2^n)$成立吗？其中，

O ( g ( n ) ) = { f ( n ) : 存 在 正 常 量 c 和 n 0 ， 使 得 对 所 有 n ≥ n 0 ， 有 0 ≤ f ( n ) ≤ c g ( n ) } O(g(n))=\lbrace f(n):存在正常量c和n_0，使得对所有n\geq n_0，有0\leq f(n) \leq c g(n) \rbrace O(g(n))={f(n):存在正常量c和n0​，使得对所有n≥n0​，有0≤f(n)≤cg(n)}

解： $2^{n+1}=2\times 2^n=O(2^n)$成立。

$2^{2n}=2^n\times 2^n$，对于任意常数$c$，总存在$N$，当$n>N$时，有$2^n>c$，从而$2^{2n}=2^n\times 2^n>c\times 2^n$。因此不成立。

3.2-1 求证：若$f(n)$和$g(n)$是单调递增的函数，则函数$f(n)+g(n)$和$f(g(n))$也是单调递增的。此外，若$f(n)$和$g(n)$是非负的，则$f(n)\cdot g(n)$是单调递增的。

证明： 设$n_1>n_2$，则

$$f(n_1)+g(n_1)>f(n_2)+g(n_1)>f(n_2)+g(n_2)$$

$$g(n_1)>g(n_2)\Rightarrow f(g(n_1))>f(g(n_2))$$

$$f(n_1)\cdot g(n_1)>f(n_2)\cdot g(n_1)>f(n_2)\cdot g(n_2)$$

3.2-2 求证：$a^{{\log }_{b}c}=c^{lo{g}_{b}a}$。

证明： $a^{{\log }_{b}c}=a^{\frac{lo{g}_{a}c}{lo{g}_{a}b}}=c^{\frac{1}{lo{g}_{a}b}}=c^{lo{g}_{b}a}$

3.2-3(1) 求证：$\lg (n!)=\Theta (n\lg n)$

斯特劳林公式：$n!=\sqrt{2\pi n}(\frac{n}{\mathrm{e}}{)}^n(1+\Theta (\frac{1}{n}))$

证明： 如下

$$\begin{array}{rl}\lg (n!)& =\lg (\sqrt{2\pi n}(\frac{n}{\mathrm{e}}{)}^n(1+\Theta (\frac{1}{n})))\\ & =\frac{1}{2}\lg (2\pi )-\lg \mathrm{e}\cdot n+(\frac{1}{2}+n)\lg n+\lg (1+\Theta (\frac{1}{n}))\end{array}$$

其中最高阶项为$n\lg n$，因此$\lg (n!)=\Theta (n\lg n)$。

3.2-3(2) 求证：$n!=\omega (2^n)$，其中，

ω ( g ( n ) ) = { f ( n ) : 对 任 意 正 常 量 c &gt; 0 ， 存 在 常 量 n 0 &gt; 0 ， 使 得 对 所 有 n ≥ n 0 ， 有 0 ≤ c g ( n ) &lt; f ( n ) } \omega(g(n))=\lbrace f(n):对任意正常量c&gt;0，存在常量n_0&gt;0，使得对所有n\geq n_0，有0\leq c g(n) &lt; f(n) \rbrace ω(g(n))={f(n):对任意正常量c>0，存在常量n0​>0，使得对所有n≥n0​，有0≤cg(n)<f(n)}

证明： 如下。

$$\begin{array}{rl}n!& =1\times 2\times 3\times 4\times \cdots \times n\\ c\cdot 2^n& =2\times 2\times 2\times 2\times \cdots \times 2\times c\end{array}$$

取 n &gt; max ⁡ { 4 , c 2 } n&gt;\max\lbrace4,c^2\rbrace n>max{4,c2}，此时，

n ! = 24 × ⋯ × n &gt; 24 × ⋯ × max ⁡ { 2 , c } × max ⁡ { 2 , c } c ⋅ 2 n = 16 × ⋯ × 2 × c \begin{aligned} n!&amp;=24 \times \cdots \times n\\ &amp;&gt;24 \times \cdots \times \max\lbrace2, c\rbrace \times \max\lbrace2, c\rbrace\\ c\cdot 2^n &amp;=16\times \cdots \times 2\times c \end{aligned} n!c⋅2n​=24×⋯×n>24×⋯×max{2,c}×max{2,c}=16×⋯×2×c​

上式中，$n!$的每一项因子均大于$c\cdot 2^n$的因子，因此$n!>c\cdot 2^n$。

3.2-3(3) 求证：$n!=o(n^n)$，其中，

o ( g ( n ) ) = { f ( n ) : 对 任 意 正 常 量 c &gt; 0 ， 存 在 常 量 n 0 &gt; 0 ， 使 得 对 所 有 n ≥ n 0 ， 有 0 ≤ f ( n ) &lt; c g ( n ) } o(g(n))=\lbrace f(n):对任意正常量c&gt;0，存在常量n_0&gt;0，使得对所有n\geq n_0，有0\leq f(n) &lt; c g(n) \rbrace o(g(n))={f(n):对任意正常量c>0，存在常量n0​>0，使得对所有n≥n0​，有0≤f(n)<cg(n)}

证明： 不妨设$c<1$，取$n>\frac{1}{c}$，此时，

$$\begin{array}{rl}n!& =1\times 2\times 3\times 4\times \cdots \times n\\ & =n\times 2\times 3\times 4\times \cdots \times 1\\ c\cdot n^n& =n\times n\times n\times n\times \cdots \times n\times c\\ & >n\times n\times n\times n\times \cdots \times 1\end{array}$$

上式中，$n!$的每一项因子均小于$c\cdot n^n$的因子，因此$n!<c\cdot n^n$。

3.2-4(1) 函数$\lceil \lg n\rceil !$多项式有界吗？已知：

$$n!=\sqrt{2\pi n}(\frac{n}{\mathrm{e}}{)}^n(1+\Theta (\frac{1}{n}))$$

解： 如下。

$$\begin{array}{rl}\lceil \lg n\rceil !& =\sqrt{2\pi \lceil \lg n\rceil }(\frac{\lceil \lg n\rceil }{\mathrm{e}}{)}^{\lceil \lg n\rceil }(1+\Theta (\frac{1}{\lceil \lg n\rceil }))\\ & \ge \sqrt{2\pi \lg n}(\frac{\lg n}{\mathrm{e}}{)}^{\lg n}\\ & \ge (\frac{\lg n}{\mathrm{e}}{)}^{\lg n}\\ & ={\mathrm{e}}^{\lg n\ln (\frac{\lg n}{\mathrm{e}})}\\ & >{\mathrm{e}}^{\ln n\ln (\frac{\lg n}{\mathrm{e}})}\\ & =n^{\ln (\frac{\lg n}{\mathrm{e}})}\end{array}$$

若对于任意正常数$c,k$，有足够大的$n$使得$f(n)\le c{n}^k$，则

$$\begin{array}{rl}\lg f(n)& \le \lg c+k\lg n\\ & =O(\lg n)\end{array}$$

又

$$\lg (n^{\ln (\frac{\lg n}{\mathrm{e}})})=\ln (\frac{\lg n}{\mathrm{e}})\lg n=\omega (\lg n)$$

所以函数$\lceil \lg n\rceil !$多项式无界。

3.2-4(2) 函数$\lceil \lg \lg n\rceil !$多项式有界吗？已知：

$$n!=\sqrt{2\pi n}(\frac{n}{\mathrm{e}}{)}^n(1+\Theta (\frac{1}{n}))$$

解： 如下。

$$\begin{array}{rl}\lceil \lg \lg n\rceil !& =\sqrt{2\pi \lceil \lg \lg n\rceil }(\frac{\lceil \lg \lg n\rceil }{\mathrm{e}}{)}^{\lceil \lg \lg n\rceil }(1+\Theta (\frac{1}{\lceil \lg \lg n\rceil }))\\ & \le \sqrt{2\pi (\lg \lg n+1)}(\frac{(\lg \lg n+1)}{\mathrm{e}}{)}^{(\lg \lg n+1)}\times 2\end{array}$$

$$\begin{array}{rl}\lg (\lceil \lg \lg n\rceil !)& \le \lg 2+\lg \sqrt{2\pi (\lg \lg n+1)}+(\lg \lg n+1)(\lg (\lg \lg n+1)-\lg \mathrm{e})\\ & =O(\lg \lg n\cdot \lg \lg \lg n)\\ & =o(\lg \lg n\cdot \lg \lg n)\\ & =o({\lg }^2\lg n)\\ & =o(\lg n)\\ & =o(n)\end{array}$$

因此函数$\lceil \lg \lg n\rceil !$多项式有界。

3.2-5 如下两个函数中，哪一个渐进更大些：$\lg ({\lg }^{\ast }n)$还是${\lg }^{\ast }(\lg n)$？

解： 如下。

$${\lg }^{\ast }(\lg n)={\lg }^{\ast }n-1=\Theta ({\lg }^{\ast }n)=\omega (\lg ({\lg }^{\ast }n))$$

因此${\lg }^{\ast }(\lg n)$渐进更大些。

3.2-7 用归纳法证明：第$i$个斐波那契数满足等式

$$F_i=\frac{{\varphi }^i-{\hat{\varphi }}^i}{\sqrt{5}}$$

其中$\varphi$是黄金分割率且$\hat{\varphi }$是其共轭数。

解： 先验证第1、2个斐波那契数满足等式。

$$\begin{array}{rl}{F}_1& =\frac{\varphi -\hat{\varphi }}{\sqrt{5}}=\frac{\sqrt{5}}{\sqrt{5}}=1\\ F_2& =\frac{{\varphi }^2-{\hat{\varphi }}^2}{\sqrt{5}}=\frac{\frac{1+2\sqrt{5}+5}{4}-\frac{1-2\sqrt{5}+5}{4}}{\sqrt{5}}=1\end{array}$$

若$F_{i-2}$、$F_{i-1}$满足等式，则

$$\begin{array}{rl}{F}_i& =F_{i-2}+F_{i-1}\\ & =\frac{{\varphi }^{i-2}-{\hat{\varphi }}^{i-2}}{\sqrt{5}}+\frac{{\varphi }^{i-1}-{\hat{\varphi }}^{i-1}}{\sqrt{5}}\\ & =\frac{{\varphi }^{i-2}(\varphi +1)-{\hat{\varphi }}^{i-2}(\hat{\varphi }+1)}{\sqrt{5}}\\ & =\frac{{\varphi }^{i-2}{\varphi }^2-{\hat{\varphi }}^{i-2}{\hat{\varphi }}^2}{\sqrt{5}}\\ & =\frac{{\varphi }^i-{\hat{\varphi }}^i}{\sqrt{5}}\end{array}$$

3.2-8 求证：$k\ln k=\Theta (n)$蕴含着$k=\Theta (\frac{n}{\ln n})$。

证明： $k\ln k=\Theta (n)$，即：

$$\begin{array}{rl}n& =\Theta (k\ln k)\\ \ln n& =\Theta (\ln (k\ln k))\\ & =\Theta (\ln k+\ln \ln k)\\ & =\Theta (\ln k)\\ \frac{n}{\ln n}& =\frac{\Theta (k\ln k)}{\Theta (\ln k)}=\Theta (\frac{k\ln k}{\ln k})=\Theta (k)\end{array}$$

即

$$k=\Theta (\frac{n}{\ln n})$$