算法分析与设计学习（1）——函数增长和复杂性分类

函数增长和复杂性分类

渐进符号

• $\Theta$ 记号
  Θ ( g ( n ) ) = { f ( n ) ∣ ∃ n 0 , c 1 , c 2 > 0 , s . t . ∀ n > n 0 , 0 ≤ c 1 g ( n ) ≤ f ( n ) ≤ c 2 g ( n ) } \Large{\mathit{\Theta}(g(n))=\{f(n)|\exists n_0,c_1,c_2>0,\mathrm{s.t.} \forall n > n_0,0\le c_1g(n)\le f(n)\le c_2g(n) \}} Θ(g(n))={f(n)∣∃n0​,c1​,c2​>0,s.t.∀n>n0​,0≤c1​g(n)≤f(n)≤c2​g(n)}

  • 对于 $\Theta$ 记号，要求 $g(n)$本身为渐进非负
  • $\Theta$ 记号一般用来表示一个算法对于某些输入的运行时间的确界
  • 对于任意函数 $f(n)\in \Theta (g(n))$，那么 $c_{2}g(n)$ 和 $c_{1}g(n)$ 分别是 $f(n)$ 的上界和下界。所以θ记号渐进地给出了函数的上界和下界。

• $O$​​ 记号
  O ( g ( n ) ) = { f ( n ) ∣ ∃ n 0 , c > 0 , s . t . ∀ n > n 0 , 0 ≤ f ( n ) ≤ c g ( n ) } \Large{\mathit{O}(g(n))=\{f(n)|\exists n_0,c>0,\mathrm{s.t.} \forall n > n_0, 0\le f(n)\le cg(n) \}} O(g(n))={f(n)∣∃n0​,c>0,s.t.∀n>n0​,0≤f(n)≤cg(n)}

  • $O$ 记号表示的是一个渐进上界
  • 当用它来表示算法的最坏情况运行时间界限时，就隐含地给出了对于任意输的时间的上界，即$f(n)=\Theta (g(n))$隐含着$f(n)=O(g(n))$。

• $o$​​ 记号
  o ( g ( n ) ) = { f ( n ) ∣ ∀ c > 0 , ∃ n 0 , s . t . ∀ n > n 0 , 0 ≤ f ( n ) < c g ( n ) } \Large{\mathit{o}(g(n))=\{f(n)|\forall c>0,\exists n_0,\mathrm{s.t.} \forall n > n_0, 0\le f(n)< cg(n) \}} o(g(n))={f(n)∣∀c>0,∃n0​,s.t.∀n>n0​,0≤f(n)<cg(n)}

  • $o$ 记号表示的是一个非渐进紧确的上界

• $\Omega$​​ 记号
  Ω ( g ( n ) ) = { f ( n ) ∣ ∃ n 0 , c > 0 , s . t . ∀ n > n 0 , 0 ≤ c g ( n ) ≤ f ( n ) } \Large{\mathit{\Omega}(g(n))=\{f(n)|\exists n_0,c>0,\mathrm{s.t.} \forall n > n_0, 0\le cg(n)\le f(n) \}} Ω(g(n))={f(n)∣∃n0​,c>0,s.t.∀n>n0​,0≤cg(n)≤f(n)}

  • $\Omega$ 记号表示的是一个渐进下界

• $\omega$​ 记号
  ω ( g ( n ) ) = { f ( n ) ∣ ∀ c > 0 , ∃ n 0 , s . t . ∀ n > n 0 , 0 ≤ c g ( n ) < f ( n ) } \Large{\mathit{\omega}(g(n))=\{f(n)|\forall c>0,\exists n_0,\mathrm{s.t.} \forall n > n_0, 0\le cg(n)< f(n) \}} ω(g(n))={f(n)∣∀c>0,∃n0​,s.t.∀n>n0​,0≤cg(n)<f(n)}

  • $\omega$​ 记号表示的是一个非渐进紧确的下界

• 性质

  • O ( g 1 ( n ) ) + O ( g 2 ( n ) ) = O ( m a x { g 1 ( n ) , g 2 ( n ) } ) O(g_1(n))+O(g_2(n))=O(\mathrm{max}\{g_1(n),g_2(n)\} ) O(g1​(n))+O(g2​(n))=O(max{g1​(n),g2​(n)})。对 $\Theta$ 记号和 $\Omega$ 记号同样成立。
  • $O(g_1(n))\cdot O(g_2(n))=O(g_1(n)\cdot g_2(n))$。对 $\Theta$ 记号和 $\Omega$ 记号同样成立。

阶的计算

• 常见的复杂度关系：
  $$c<\log n<n<n\log n<n^a<a^n<n!$$

  • 其中 $c$ 是常数，$a$ 是大于 1 的常数

• 递归算法复杂度计算

  • 常用主定理计算
    $$T(n)=aT(\frac{n}{b})+f(n)$$

  • 三种情况下的 $T(n)$​

    • $\exists \epsilon ,s.t.f(n)=O(n^{{\log }_{b}a-\epsilon })$，则 $T(n)=\Theta (n^{{\log }_{b}a})$​
    • $f(n)=\Theta (n^{{\log }_{b}a})$，则 $T(n)=\Theta (n^{{\log }_{b}a}\log n)$​
    • $\exists \epsilon ,s.t.f(n)=\Omega (n^{{\log }_{b}a+\epsilon })$，且 $\forall c<1,\exists n,s.t.af(\frac{n}{b})\le cf(n)$，则$T(n)=\Theta (f(n))$

  • 当 $f(n)$ 的执行时间是多项式时间，即 $T(n)=aT(\frac{n}{b})+O(n^d)$ 时

    • 若 $d>{\log }_{b}a$​ 时，则 $T(n)=O(n^d)$
    • 若 $d={\log }_{b}a$ 时，则 $T(n)=O(n^d\log n)$
    • 若 $d<{\log }_{b}a$ 时，则 $T(n)=O(n^{{\log }_{b}a})$

复杂性分类

• 图灵机

  • 有 $k$ 个磁带，每个磁带都有一个磁头，可以对磁带的某个位置进行读或写操作
    • 有一个磁带是输入磁带，该磁带只能进行读操作。
    • 剩下的 $k-1$ 个磁带是工作磁带，可以读也可以写。
  • 有一个寄存器，可以存储当前机器的状态。
  • 图灵机的状态集是有限的
    • 读取 $k$​ 个磁带上磁头对应位置的内容
    • 修改 $k-1$​ 磁带上磁头对应位置的内容
    • 改变寄存器中的状态
    • 每个磁头移动一个位置或保持不变
  • 机器有一套确定的规则
    • 如果确定了当前状态以及 $k$ 个磁头位置的内容，则机器执行的步骤是确定的

• 复杂度计算

  • $\mathrm{P}$ 复杂度类：存在相应的确定性图灵机可以在输入长度的多项式时间内计算出结果

  • $\mathrm{NP}$ 复杂度类：存在相应的确定性图灵机可以在输入长度的多项式时间内判断一个结果是否正确

    • $\mathrm{NPC}(\mathrm{NP}-\mathrm{Complete})$ 复杂度类也是 NP 的一个子集

  • 所有属于 $\mathrm{P}$ 的问题也属于 $\mathrm{NP}$ ，因此 $\mathrm{P}$ 是 $\mathrm{NP}$ 的一个子集。