算法导论学习笔记2_渐近记号

---

1. 算法运行时间

在分析算法的效率时，常用用时间复杂度和空间复杂度来描述其运行时间和临时占用的存储空间大小。在多数情况下，我们更加关心一个算法的时间复杂度，当我们在分析算法的效率时，大多数情况下是指的时间效率。如果一个算法的最坏情况运行时间有比另一个算法更低的增长量级，那么我们通常认为前者比后者更加有效。例如，当一个算法的运行时间随输入规模$n$的增长是以$n^2$的量级增长，而另一个算法以$n\lg n$的量级增长时，则认为后者更加有效。

---

2. 渐近记号

当算法的输入规模足够大，使得运行时间只与增长量级有关时，研究算法的渐近效率通常比计算算法的实际运行时间更有意义。

渐近上界（O记号）

对于给定的函数$g(n)$，用$O(g(n))$来表示以下函数的集合：
O ( g ( n ) ) = { f ( n ) : 存 在 正 常 量 c 和 n 0 , 使 得 对 所 有 n ≥ n 0 , 有 0 ≤ f ( n ) ≤ c g ( n ) } O(g(n))=\{f(n):存在正常量c和n_0,使得对所有n\ge n_0,有0\le f(n)\le cg(n)\} O(g(n))={f(n):存在正常量c和n0​,使得对所有n≥n0​,有0≤f(n)≤cg(n)}
注意到这里的$O(g(n))$是一个函数集合，对于其中的某个元素$f(n)$，存在一个常数$c$和$n_0$，对于所有的$n\ge n_0$，$0\le f(n)\le cg(n)$成立。

例如，对于集合$O(n^2)$，$f(n)=2n^2+3n+5\in O(n^2)$,要证明存在常数$c$和$n_0$，有
$$0\le 2n^2+3n+5\le c{n}^2$$
将不等式除以$n^2$得：
$$0\le 2+\frac{3}{n}+\frac{5}{n^2}\le c$$
任取$c=2+ϵ>2$，得$ϵ\ge \frac{3}{n}+\frac{5}{n^2}$
设$\frac{3}{n_0}+\frac{5}{n_0^2}=ϵ$，由于$\frac{3}{n}+\frac{5}{n^2}$在$[1,+\infty )$单调递减，因此$n\ge n_0$时，$ϵ\ge \frac{3}{n}+\frac{5}{n^2}$成立，故存在常数$c$和$n_0$，对于所有的$n\ge n_0$，$0\le 2n^2+3n+5\le c{n}^2$成立。
注意：$O$记号表示的只是一个增长量级的一个渐近上界，例如$f(n)=2n^2+3n+5\in O(n^3)$、$f(n)=2n+1\in O(n^2)$都是成立的。

渐近下界（Ω记号）

类似于渐近上界，$\Omega (g(n))$用于表示以下函数的集合：
Ω ( g ( n ) ) = { f ( n ) : 存 在 正 常 量 c 和 n 0 , 使 得 对 所 有 n ≥ n 0 , 有 0 ≤ c g ( n ) ≤ f ( n ) } \Omega(g(n))=\{f(n):存在正常量c和n_0,使得对所有n\ge n_0,有0\le cg(n)\le f(n)\} Ω(g(n))={f(n):存在正常量c和n0​,使得对所有n≥n0​,有0≤cg(n)≤f(n)}
下面证明:$f(n)=2n^2+3n+5\in \Omega (n^2)$（即证明存在正常量$c$和$n_0$，使得对所有$n\ge n_0$,有$0\le cg(n)\le f(n)$)
证：对于$2n^2+3n+5\ge c{n}^2$，两边除以$n^2$得：$2+\frac{3}{n}+\frac{5}{n^2}\ge c$
由于$\frac{3}{n}+\frac{5}{n^2}\in (0,8]$，则$2+\frac{3}{n}+\frac{5}{n^2}\in (2,10]$
因此当$c\in (0,2]$时，原不等式成立。
可得，$f(n)=2n^2+3n+5\in \Omega (n^2)$

渐近紧确界（Θ记号）

对于以下函数的集合：
Θ ( g ( n ) ) = { f ( n ) : 存 在 正 常 量 c 1 、 c 2 和 n 0 , 使 得 对 所 有 n ≥ n 0 , 有 c 1 g ( n ) ≤ f ( n ) ≤ c 2 g ( n ) } \Theta(g(n))=\{f(n):存在正常量c_1、c_2和n_0,使得对所有n\ge n_0,有c_1g(n)\le f(n)\le c_2g(n)\} Θ(g(n))={f(n):存在正常量c1​、c2​和n0​,使得对所有n≥n0​,有c1​g(n)≤f(n)≤c2​g(n)}下面将看到，$g(n)=n^2$是函数$f(n)=2n^2+3n+5$的一个渐近紧确界。
对于不等式：
$$c_1{n}^2\le 2n^2+3n+5\le c_2{n}^2$$用$n^2$除上式得：
$$c_1\le 2+\frac{3}{n}+\frac{5}{n^2}\le c_2$$因此，可以任取$c_1=1、c_2=3$使得上式成立。
因此，存在正常量$c_1$、$c_2$和$n_0$,使得对所有$n\ge n_0$,有$c_{1}g(n)\le f(n)\le c_{2}g(n)$
因此，$f(n)=2n^2+3n+5\in \Theta (n^2)$.

注：常见的时间复杂度如下：
$$\Theta (1)<\Theta (\ln n)<\Theta (n)<\Theta (n\ln n)<\Theta (n^2)<\Theta (n^3)<\Theta (2^n)<\Theta (2!)<\Theta (n^n)$$

常见用法解释

①当渐近记号独立于等式（或不等式）的右边时，如在$$n=O(n^2)$$中，这里意指集合的成员关系：$n\in O(n^2)$.
②当渐近记号出现在某个公式中时，我们将其解释为代表某个我们不关心名称的匿名函数。例如：$$2n^2+3n+1=2n^2+\Theta (n)$$意指$2n^2+3n+1=2n^2+f(n)$,其中$f(n)$是集合$\Theta (n)$中的一个函数。
注：一个表达式中匿名函数的数目可以理解为等于渐近记号出现的次数。？？？
③当渐进记号出现在等式的左边，如：$$2n^2+\Theta (n)=\Theta (n^2)$$这里可理解为右边比左边忽略了更多的细节。

---

3. 其他渐近记号

上述用$O$和$\Omega$记号提供的渐近界限可能不是渐近紧确的，例如$2n^2+1=O(n^2)$是渐近紧确的，而$2n^2+1=O(n^3)$不是渐近紧确的。
下面用$o$和$\omega$记号所提供的渐进界限是非渐近紧确的。

o记号

定义$o(g(n))$为以下集合：
o ( g ( n ) ) = { f ( n ) : 对 任 意 正 常 量 c &gt; 0 ， 存 在 常 量 n 0 &gt; 0 ， 使 得 对 所 有 n ≥ n 0 ， 有 0 ≤ f ( n ) &lt; c g ( n ) } o(g(n))=\{f(n):对任意正常量c&gt;0，存在常量n_0&gt;0，使得对所有n\ge n_0，有0\le f(n)\lt cg(n)\} o(g(n))={f(n):对任意正常量c>0，存在常量n0​>0，使得对所有n≥n0​，有0≤f(n)<cg(n)}例如：$2n=o(n^2)$

ω记号

定义$\omega (g(n))$ 为以下集合：
o ( g ( n ) ) = { f ( n ) : 对 任 意 正 常 量 c &gt; 0 ， 存 在 常 量 n 0 &gt; 0 ， 使 得 对 所 有 n ≥ n 0 ， 有 0 ≤ c g ( n ) &lt; f ( n ) } o(g(n))=\{f(n):对任意正常量c&gt;0，存在常量n_0&gt;0，使得对所有n\ge n_0，有0\le cg(n) \lt f(n)\} o(g(n))={f(n):对任意正常量c>0，存在常量n0​>0，使得对所有n≥n0​，有0≤cg(n)<f(n)}例如：$2n^2=\omega (n)$

注：其中$f(n)\in \omega (g(n))$当且仅当$g(n)\in o(f(n))$.

---

4. 性质

①传递性($\Theta 、O、\Omega 、o、\omega$)：
$$\begin{gathered} f(n)=\Theta (g(n))、g(n)=\Theta (h(n))\to f(n)=\Theta (h(n)) \\ f(n)=O(g(n))、g(n)=O(h(n))\to f(n)=O(h(n)) \\ f(n)=\Omega (g(n))、g(n)=\Omega (h(n))\to f(n)=\Omega (h(n)) \\ f(n)=o(g(n))、g(n)=o(h(n))\to f(n)=o(h(n)) \\ f(n)=\omega (g(n))、g(n)=\omega (h(n))\to f(n)=\omega (h(n)) \end{gathered}$$
②自反性($\Theta 、O、\Omega$)：
$$\begin{gathered} f(n)=\Theta (f(n)) \\ f(n)=O(f(n)) \\ f(n)=\Omega (f(n)) \end{gathered}$$
注意：渐近记号$o$和$\omega$不满足自反性。
③对称性（$\Theta$）
$$f(n)=\Theta (g(n))当且仅当g(n)=\Theta (f(n))$$
④转置对称性($O、\Omega 、o、\omega$)
$$\begin{gathered} f(n)=O(g(n))当且仅当g(n)=\Omega (f(n)) \\ f(n)=o(g(n))当且仅当g(n)=\omega (f(n)) \end{gathered}$$
⑤三分性
对于实数来说，下面三种情况必有一种情况成立：$$a<b，a>b，a=b$$但对于函数来说，不是所有函数都可以进行渐近比较，例如：$n与n^{1+\sin n}$。
⑥与实数进行类比
$$\begin{gathered} f(n)=O(g(n))类似于a\le b \\ f(n)=\Omega (g(n))类似于a\ge b \\ f(n)=\Theta (g(n))类似于a=b \\ f(n)=o(g(n))类似于a<b \\ f(n)=\omega (g(n))类似于a>b \end{gathered}$$因此，$\Theta 、O、\Omega 、o、\omega$可用渐近等于、渐近小于等于、渐近大于等于、渐近小于、渐近大于来描述。

---

5. 习题

3.1-1 假设$f(n)$与$g(n)$都是渐近非负函数。使用$\Theta$记号的基本定义来证明$\max (f(n),g(n))=\Theta (f(n)+g(n))$.
证明：
由于$f(n)$与$g(n)$都是渐近非负函数,则必存在$n_0$使得$n\ge n_0$时，$f(n)\ge 0$且$g(n)\ge 0$
因此，当$n\ge n_0$时，$$\max (f(n),g(n))\le f(n)+g(n)$$因此，存在$c=1、n_0>0$使得对所有$n\ge n_0$时，$$\max (f(n),g(n))\le c(f(n)+g(n))$$因此，$\max (f(n),g(n))=O(f(n)+g(n))$。
同理可得：$\max (f(n),g(n))\ge \frac{1}{2}(f(n)+g(n))$
因此，存在$c=1/2、n_0>0$使得对所有$n\ge n_0$时，$$\max (f(n),g(n))\ge c(f(n)+g(n))$$因此，$\max (f(n),g(n))=\Omega (f(n)+g(n))$。
综上，$\max (f(n),g(n))=\Theta (f(n)+g(n))$。

3.1-2 证明：对任意实常量$a$和$b$，其中$b>0$，有
$$(n+a{)}^b=\Theta (n^b)$$
证明：
展开$(n+a{)}^b=n^b+c_1{n}^{b-1}+c_2{n}^{b-2}+...+c_b{n}^0$
则不等式：
$$d_1{n}^b\le (n+a{)}^b\le d_2{n}^b$$等价于：
$$d_1{n}^b\le n^b+c_1{n}^{b-1}+c_2{n}^{b-2}+...+c_b{n}^0\le d_2{n}^b$$用$n^b$除上式得：
$$d_1\le 1+\frac{c_1}{n}+\frac{c_2}{n^2}+...+\frac{c_b}{n^b}\le d_2$$可取$d_1=0.5,d_2=1.5$，则存在$n_0$使得对所有$n\ge n_0$上式成立。
因此，$(n+a{)}^b=\Theta (n^b)$

3.1-3 解释为什么“算法A的运行时间至少是$O(n^2)$”这一表述是无意义的。
因为$O(n)$是描述的渐近上界，而至少应该用渐近下界来描述。

3.1-4 $2^{n+1}=O(2^n)$成立吗？$2^{2n}=O(2^n)$成立吗？
①成立
证：存在$c\ge 2$使得对任意n，$c\times 2^n\ge 2\times 2^n$成立，即$2^{n+1}\le c{2}^n$成立。因此$2^{n+1}=O(2^n)$。
②不成立
证：要使$2^{2n}\le c{2}^n$，则$2^n\le c$
显然不存在$c、n_0$使得对任意$n\ge n_0$，$2^n\le c$成立，故$2^{n+1}̸=O(2^n)$。

3.1-5 证明定理：对任意两个函数$f(n)$和$g(n)$，我们有$f(n)=\Theta (g(n))$，当且仅当$f(n)=O(g(n))$且$f(n)=\Omega (g(n))$。
证明：
$\because f(n)=O(g(n))$且$f(n)=\Omega (g(n))$
$\therefore$存在$c_1、n_1$使得对任意$n\ge n_1$，$0<f(n)\le c_{1}g(n)$;
    \space\space\space    存在$c_2、n_2$使得对任意$n\ge n_2$，$0<c_{2}g(n)\le f(n)$;
取$n_0=\max (n_1,n_2)$，因此任意$n\ge n_0$，$c_{2}g(n)\le f(n)\le c_{1}g(n)$
由定义得，$f(n)=\Theta (g(n))$

3.1-7 证明：$o(g(n))\cap \omega (g(n))$为空集
证明：设$$h(n)\in o(g(n))\cap \omega (g(n))$$则有：
$$\underset{n\to \infty }{\lim }\frac{h(n)}{g(n)}=0且\underset{n\to \infty }{\lim }\frac{h(n)}{g(n)}=\infty$$
显然不存在$h(n)$使得上述二式成立，因此$h(n)$不存在，即$o(g(n))\cap \omega (g(n))$为空集。