《算法导论读书笔记》第一部分（第三章 函数的增长）

第一部分（3）

第三章 函数的增长

第二章定义了算法运行时间增长量级简单地刻画了算法效率，并且允许我们比较可选算法的相对性能。

虽然我们能够确定一个算法的精确运行时间，但是通常并不值得计算多余精度。

本章给出几种标准方法来简化算法的渐进分析。包括$\Theta$。

3.1 渐进记号

本节将定义一些基本的渐进记号，并介绍一些常见的活用法。

渐进记号、函数与运行时间

---

$\Theta (n^2)就是函数a{n}^2+bn+c$

本书中对其使用渐进记号的函数通常刻画算法的运行时间。但是也适用于刻画其他方面（算法使用的空间数量）的函数

Θ记号

---

定义：

$对一个给定的函数g(n),用\Theta (g(n))来表示一下函数的集合：$

Θ ( g ( n ) ) = { f ( n ) : 存 在 正 常 量 c 1 、 c 2 和 n 0 , 使 得 对 所 有 n ≥ n 0 , 有 0 ≤ c 1 g ( n ) ≤ f ( n ) ≤ c 2 g ( n ) } \color{#FF0000} \Theta(g(n))= \color{#0000FF} \{f(n):存在正常量c_1 、c_2和n_0, 使得对所有n\ge n_0, 有0\le c_1g(n)\le f(n)\le c_2g(n)\} Θ(g(n))={f(n):存在正常量c1​、c2​和n0​,使得对所有n≥n0​,有0≤c1​g(n)≤f(n)≤c2​g(n)}

在集合记号中，冒号意指“使得”

若存在正常量$c_1,c_2$, 使得对于足够大的n, 函数f(n)能夹在$c_{1}g(n)与c_{2}g(n)之间$, 则$f(n)属于集合\Theta (g(n))。$

$可以记作:f(n)\in \Theta (g(n)),作为替代，通常记为:f(n)=\Theta (g(n)),以表达相同的概念。$

本节后可以看到这样做的好处

图中每个n0是最小可能值，任何更大的值也将有效。

上图：

(a)：给出了函数f和g的直观画面，其中$f(n)=\Theta (g(n))。$
对于$n_0$及其右边$n$的所有值，f(n)都在二者之间；

$换句话说：对所有n\ge n_0,函数f(n)在一个常量因子内等于g(n)。$

我们称g(n)是f(n)的一个渐近紧确界（asymptotically tight bound）。

在第二章，我们介绍了$\Theta$记号的一种非形式化概念，相当于扔掉低阶项并忽略最高阶项前的系数。

让我们通过使用形式化定义证明$\frac{1}{2}{n}^2-3n=\Theta (n^2)$来简要地证实这种直觉。

---

$$
为此我们必须确定正常量c_1、c_2和n_0, 使得对所有n\ge n_0, 有：\
c_1n^2\le \frac{1}{2}n^2- 3n \le c_2n^2
\\Downarrow\

用n^2除上式得：\\Downarrow\

c_1\le \frac{1}{2}- \frac{3}{n} \le c_2
$$

通过选择任何常量c2>=1/2, 可以使右边的不等式对任何n>=1的值成立。同理对左边。

当然还存在其他选择, 但最重要的是存在某个选择。

同样：我们还可以使用形式化定义来证明$6n^3\le c_2{n}^2。$反证法证明即可。

---

由于显然的原因：$将c_1置为稍小于高阶项系数的值，并将c_2置为稍大于的，就能使\Theta 记号定义中的不等式得到满足$

例如：

$$\begin{gathered} f(n)=a{n}^2+bn+c,其中a、b和c均为常量且a>0; \\ \Downarrow \\ 为了形式化证明f(n)=\Theta (n^2) \\ \Downarrow \\ 我们取c_1=\frac{a}{4},c_2=\frac{7a}{4},且n_0=2\times MAX(\frac{|b|}{a},\sqrt{\frac{|c|}{a}})。 \\ \Downarrow \\ 此时可以证明:n\ge n_0,有0\le c_1{n}^2\le a{n}^2+bn+c\le c_2{n}^2 \\ \Downarrow \\ 一般来说，对任意多项式p(n)=\sum _{i=0}^d{a}_i{n}^i,其中a_i为常量且a_d>0, \\ 我们有p(n)=\Theta (n^d)(参见思考题3-1)。 \end{gathered}$$

$\Theta (1)表示常数$

O记号

---

$当只有一个渐进上界时，使用O记号。$

定义：

O ( g ( n ) ) = { f ( n ) ： 存 在 正 常 量 c 和 n 0 ， 使 得 对 所 有 n ≥ n 0 ， 有 0 ≤ f ( n ) ≤ c g ( n ) } O(g(n))= \{f(n)：存在正常量c和n_0，使得对所有n\ge n_0，有0\le f(n)\le cg(n)\} O(g(n))={f(n)：存在正常量c和n0​，使得对所有n≥n0​，有0≤f(n)≤cg(n)}

因为$\Theta 是比O记号更强的概念。按照集合论，有\Theta (g(n))\subseteq O(g(n))。$

令人惊奇的是, 当a>0时，任意线性函数an+b也在O(n^2)中，很容易证明；

Ω记号

---

渐进下界；

Ω ( g ( n ) ) = { f ( n ) ： 存 在 正 常 量 c 和 n 0 , 使 得 对 所 有 n ≥ n 0 , 有 0 ≤ c g ( n ) ≤ f ( n ) } \Omega(g(n))= \{f(n)：存在正常量c和n_0, 使得对所有n \ge n_0, 有0 \le cg(n)\le f(n)\} Ω(g(n))={f(n)：存在正常量c和n0​,使得对所有n≥n0​,有0≤cg(n)≤f(n)}

根据目前所知这些渐进记号的定义，容易证明一下重要定理(参见练习3.1-5)。

$定理3.1对任意两个函数f(n)和g(n),我们有f(n)=\Theta (g(n)),当且仅当f(n)=O(g(n))且f(n)=\Omega (g(n))。$

$插入排序的运行时间介于\Omega (n)和O(n^2),因为它落在n的线性函数与n的二次函数之间的任何地方。$

$然而，可以称插入排序的最坏情况运行时间为\Omega (n^2)并不矛盾。$

等式和不等式中的渐进记号

---

$当渐进记号独立于等式(或不等式)的右边(即不在一个更大的公式内)时，如在n=O(n^2)中，我们已经定义等号意指集合的成员关系：n\in O(n^2)$

用具体的函数表示渐进记号可以帮助消除一个等式中无关紧要的细节与混乱。

我们将表达式中的渐进记号视为匿名函数；

一个表达式中匿名函数的数目可以理解为渐进记号出现的次数。

$例如{\sum }_{i=1}^{n}O(i)中只有一个匿名函数(一个i的函数),而写作O(1)+O(2)+...没有一个清晰的解释$

要是左边也有渐进记号，我们用以下规则来解释这种等式：

无论怎样选择等号左边的匿名函数，总有一种办法来选择等号右边的匿名函数使等式成立。

例如：
$$\begin{gathered} 2n^2+\Theta (n)=\Theta (n^2) \\ 对任意函数f(n)\in \Theta (n),存在某个函数g(n)\in \Theta (n^2),使得对所有的n,有2n^2+f(n)=g(n)。 \end{gathered}$$

可见等式右边比左边粗糙

现在我们就可以解释类似

$$2n^2+3n+1=2n^2+\Theta (n)=\Theta (n^2)$$

等式还直观上让我们知道$2n^2+3n+1=\Theta (n^2)$

o记号

---

表示一个非渐进紧确的上界。

o ( g ( n ) ) = { f ( n ) : 对 任 意 正 常 量 c > 0 , 存 在 常 量 n 0 > 0 , 使 得 对 所 有 n ≥ n 0 , 有 0 ≤ f ( n ) < c g ( n ) } \color{#FF0000} o(g(n))= \{f(n): 对任意正常量c>0, 存在常量n_0>0, 使得对所有n\ge n_0, 有0\le f(n)<cg(n)\} o(g(n))={f(n):对任意正常量c>0,存在常量n0​>0,使得对所有n≥n0​,有0≤f(n)<cg(n)}

$例如，2n=o(n^2),但是2n^2\ne o(n^2)$

与O记号定义相似

与O记号的主要区别是：在$f(n)=O(g(n))中，界0\le f(n)\le cg(n)对某个常量c>0成立，而o中是对所有常量c>0成立$

而且：

$$\underset{n\to \infty }{\lim }\frac{f(n)}{g(n)}=0$$

有些学者用这个极限作为o记号的定义；本书中的定义还限定匿名函数是渐进非负的。

ω记号

---

ω记号与Ω记号的关系类似于o记号和O记号的关系。

我们使用ω记号来表示一个非渐进紧确的下界。

定义它的一种方式是：

$$f(n)\in \omega (g(n)),当且仅当g(n)\in o(f(n))$$

形式化定义为：

ω ( g ( n ) ) = { f ( n ) : 对 任 意 正 常 量 c > 0 , 存 在 常 量 n 0 > 0 , 使 得 对 所 有 n ≥ n 0 , 有 0 ≤ c g ( n ) < f ( n ) } \color{#FF0000} \omega(g(n))= \{f(n):对任意正常量c>0, 存在常量n_0>0, 使得对所有n\ge n_0, 有0\le cg(n) < f(n)\} ω(g(n))={f(n):对任意正常量c>0,存在常量n0​>0,使得对所有n≥n0​,有0≤cg(n)<f(n)}

$$\underset{n\to \infty }{\lim }\frac{f(n)}{g(n)}=\infty$$

如果这个极限存在，那么当n趋于无穷时，f(n)相对于g(n)来说变得任意大了。

比较各种函数

---

实数的许多关系性质也适用于渐进比较。

传递性：

自反性： $f(n)=\Theta (f(n))$ …

对称性：

转置对称性：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ke7uToC5-1600073236559)(pic/text1.png)]

$若f(n)=o(g(n)),则称f(n)渐进小于g(n);若f(n)=\omega (g(n)),则称f(n)渐进大于g(n)。$

然而，实数的下列性质不能携带到渐进记号：

三分性，因为值有波动。

练习

3.1-1 假设f(n)与g(n)都是渐进非负函数。使用Θ记号的基本定义来证明max(f(n), g(n)) = Θ(f(n)+g(n))。

---

Θ ( g ( n ) ) = { f ( n ) : 存 在 正 常 量 c 1 、 c 2 和 n 0 , 使 得 对 所 有 n ≥ n 0 , 有 0 ≤ c 1 g ( n ) ≤ f ( n ) ≤ c 2 g ( n ) } \color{#FF0000} \Theta(g(n))= \color{#0000FF} \{f(n):存在正常量c_1 、c_2和n_0, 使得对所有n\ge n_0, 有0\le c_1g(n)\le f(n)\le c_2g(n)\} Θ(g(n))={f(n):存在正常量c1​、c2​和n0​,使得对所有n≥n0​,有0≤c1​g(n)≤f(n)≤c2​g(n)}

都是渐进非负，根据定义：

$存在N_f和N_g,使得当n>n_f和n>n_g时，f(n)\ge 0和g(n)\ge 0;$

$所以，我们取n_0=max(n_f,n_g),当n>n_0时，f(n)\ge 0,g(n)\ge 0$

$接着取c_1=\frac{1}{2},c_2=1,当n>n_0时：$

$$\frac{f(n)+g(n)}{2}\le max(f(n),g(n))\le f(n)+g(n)$$

3.1-2 证明：对任意实常量a和b，其中b>0, 有

$$(n+a{)}^b=\Theta (n^b)$$

---

我们为此要找到$当c_1,c_2,n_0>0时:0\le c_1{n}^b\le (n+a{)}^b\le c_2{n}^b$

Note that:

$n+a\le n+|a|and\le 2n,when|a|\le n$

$n+a\ge n-|a|and\le \frac{1}{2}n,when|a|\le \frac{1}{2}n$

因此，$当n\ge 2|a|时,0\le \frac{1}{2}n\le n+a\le 2n$

若b>0, 有：

$$\begin{gathered} 0\le (\frac{1}{2}n{)}^b\le (n+a{)}^b\le (2n{)}^b, \\ \Downarrow \\ 0\le (\frac{1}{2}{)}^b{n}^b\le (n+a{)}^b\le 2^b{n}^b, \end{gathered}$$

因此，$c_1=(\frac{1}{2}{)}^b,c_2=2^b和n_0=2|a|满足定义$

3.1-3 解释为什么“算法A的运行时间至少是 O(n^2)”这一表述无意义

---

运行时间T(n)。$T(n)\ge O(n^2)意味着T(n)\ge f(n),f(n)\in O(n^2),g(n)=0时，T(n)\ge 0,而这没有意义$

3.1-4 2ⁿ⁺¹ = O(2ⁿ)成立吗？ 2²ⁿ = O(2ⁿ)成立吗？

---

O ( g ( n ) ) = { f ( n ) ： 存 在 正 常 量 c 和 n 0 ， 使 得 对 所 有 n ≥ n 0 ， 有 0 ≤ f ( n ) ≤ c g ( n ) } \color{#FF0000} O(g(n))= \{f(n)：存在正常量c和n_0，使得对所有n\ge n_0，有0\le f(n)\le cg(n)\} O(g(n))={f(n)：存在正常量c和n0​，使得对所有n≥n0​，有0≤f(n)≤cg(n)}

$$\begin{gathered} 2^{n+1}=2\times 2^n所以\le 2\times 2^n \\ 而2^{2n}若成立，则2^{2n}\le c_2^n \\ \Downarrow \\ n\le lgc \\ \Downarrow \\ 因为c是常数，对任意大的n不可能成立,由此反证 \end{gathered}$$

3.1-5 证明定理3.1

$定理3.1对任意两个函数f(n)和g(n),我们有f(n)=\Theta (g(n)),当且仅当f(n)=O(g(n))且f(n)=\Omega (g(n))。$

---

TODO: <12-09-20, wgc> >

3.1-6 证明：一个算法的运行时间为Θ(g(n))当且仅当其最坏情况运行时间为O(g(n)), 且其最好情况运行时间为Ωg(n)。

由定义可易证

3.1-7 证明：o(g(n)) ⋂ ω(g(n))为空集。

---

$$\begin{gathered} 令f\in (o(g(n))\cap \omega (g(n))),同时这意味着f=o(g(n))=\omega (g(n))由定义： \\ \Downarrow \\ \underset{n\to \infty }{\lim }(f(n)/g(n))=0,(o定义) \\ \underset{n\to \infty }{\lim }(f(n)/g(n))=\infty ,(\omega 定义) \end{gathered}$$
矛盾

3.1-8

TODO: <12-09-20, wgc> >

3.1 标准记号与常用函数

本节将回顾一些标准的数学函数与记号并探索它们之间的关系，还将阐明渐进记号的应用。

---

单调性，向上取整和向下取整，模运算($a\equiv b(modn),称模n时a等价于b$)，多项式（对于一个d次渐进正的多项式p(n)), 有p(n)=Θ(n^d)。若对某个常量k, 有f(n)=O(n^k), 则称函数f(n)是多项式有界的），
指数，

对数，

阶乘

多重函数

多重对数函数

斐波那契数

TODO: <12-09-20, wgc> >