计算理论复杂度预备知识

最新推荐文章于 2024-07-08 22:12:26 发布

Air浩瀚

最新推荐文章于 2024-07-08 22:12:26 发布

阅读量338

点赞数 1

分类专栏： # 复杂度理论文章标签：算法

本文链接：https://blog.csdn.net/Ryansior/article/details/129288890

版权

复杂度理论专栏收录该内容

5 篇文章 0 订阅

订阅专栏

文章目录

计算理论复杂度预备知识

计算理论复杂度预备知识

符号

$f (n) = o (g (n))$ ： $\exists c$ ，当 $n$ 足够大时， $f(n)\lt cg(n)$ ； $\sum\limits_{n\to\infty} \frac{f(n)}{g(n)}=0$ ；
$f (n) = O (g (n))$ ： $\exists c$ ，当 $n$ 足够大时， $f(n)\le cg(n)$ ；
$f(n)=\theta(g(n))$ ： $\exists c_{1}, c_{2}$ ，当 $n$ 足够大时， $c_{1}g(n)\lt f(n) \lt c_{2}g(n)$ ；
$f(n)=\omega(g(n))$ ： $\exists c$ ，当 $n$ 足够大时， $f(n)\gt cg(n)$ ；
$f(n)=\Omega(g(n))$ ： $\exists c$ ，当 $n$ 足够大时， $f(n)\ge cg(n)$ ；

递归表达式求解通项公式

① $T(n)=4T\left( \frac{n}{2} \right)+n$ ：就直接展开，找到规律
$\begin{array}{l} \quad T(n) \\ =4T(\frac{n}{2})+n \\ =4(4(T(\frac{n}{2^{2}})+\frac{n}{2})+n \\ =4T(\frac{n}{2^{2}})+2n+n \\ =4^{k}T(\frac{n}{2^{k}})+n(2^0+2^1+\dots+2^{k-1}) \end{array}$
假设 $n$ 是 2 的幂，则最后 $k$ 应该等于 $log_{2}(n)$ ，故：
$T(n)=T(1)n^{2}+n\sum\limits_{i=1}^{\log_{2}(n)}2^{i-1}=T(1)n^{2}+n(n-1)=O(n^{2})$
② $T(n)=2T(\frac{n}{2})+n=nT(1)+n\log_{2}(n)=O(n\log{n})$
③ $T(n)=4T(\frac{n}{2})+n^{2}=n^{2}T(1)+n^{2}\log_{2}{n}=O(n^{2}\log{n})$
④ $T(n)=2T(\frac{n}{2})+n^2=nT(1)+2n^{2}=O(n^{2})$
⑤ $T(n)=4T(\frac{n}{2})+\frac{n^{2}}{\log{n}}$
$\begin{array}{l} \quad T(n) \\ =4T(\frac{n}{2})+\frac{n^{2}}{\log{n}} \\ =n^{2}T(1)+\frac{n^{2}}{\log{n}}+\frac{n^{2}}{\log{n-1}}+\dots+\frac{n^{2}}{\log{1}} \\ =\theta(n^{2}\log{\log{n}}) \end{array}$
因为这个级数可以看成积分：
$\frac{1}{x}+\frac{1}{x-1}+\frac{1}{x-2}+\dots=\int_{1}^x \, dx=\ln{x}$

主方法

Th：设 $a\geq 1$ ， $b\geq 1$ ， $f (n)$ 为一定义在非负整数上的函数， $T(n)=aT(\frac{n}{b})+f(n)$ （当 $\frac{n}{b}$ 不为整数时代表 $\lceil \frac{n}{b} \rceil$ 或 $\lfloor \frac{n}{b} \rfloor$ ），则：

若 $\exists \varepsilon>0$ ，使得 $f(n)=O(n^{\log_{b}{a}-\varepsilon})$ ，则 $T(n)=\Theta(n^{\log_{b}{a}})$
若 $\exists k\geq 0$ ，使得 $f(n)=\Theta(n^{\log_{b}{a}\,lg^k{n}})$ ，则 $T(n)=\Theta(n^{\log_{b}{a}}\,lg^{k+1}{n})$
若 $\exists \varepsilon>0$ ，使得 $f(n)=\Omega(n^{\log_{b}{a}+\varepsilon})$ ，且存在 $0 < c < 1$ 以及正整数 $N_{0}$ ，使得当 $n>N_{0}$ 时，有 $af(\frac{n}{b})\leq cf(n)$ ，则 $T(n)=\Theta(f(n))$
证明：首先展开，得到：

$\begin{array}{l} \quad T(n) \\ =aT(\frac{n}{b})+f(n) \\ =a(aT(\frac{n}{b^2})+f(\frac{n}{b}))+f(n) \\ a^2T(\frac{n}{b^{2}})+af(\frac{n}{b})+f(n) \\ =\dots \\ =a^{\log_{b}{n}}T(1)+\sum\limits_{i=0}^{\log_{b}{n}-1}a^if(\frac{n}{b^i}) \end{array}$

其中 $a^{\log_{b}{n}}=b^{\log_{b}a\log_{b}n}=n^{\log_{b}a}$ ；如果把 $f (n)$ 看成多项式的话，只需要比较 $f (n)$ 的次数与 $log_{b}a$ 的相对大小；
① 若 $\exists \varepsilon>0$ ，使得 $f(n)=O(n^{\log_{b}{a}-\varepsilon})$ ，则 $T(n)=\Theta(n^{\log_{b}{a}})$
$\begin{array}{l} \quad\sum\limits_{i=0}^{\log_{b}{n}-1}a^if\left( \frac{n}{b^i} \right) \\ =\sum\limits a^i\left( \frac{n}{b} \right)^{\log_{b}a-\varepsilon} \\ =\sum\limits \frac{n^{\log_{b}a-\varepsilon}-b^{i\varepsilon}}{a^i} \\ =n^{\log_{b}a-\varepsilon}\sum\limits b^{i\varepsilon} \\ =n^{\log_{b}a-\varepsilon} \frac{1-n^{\varepsilon}}{1-b^{\varepsilon}} \\ =O(n^{\log_{b}a}) \end{array}$
② 若 $\exists k\geq 0$ ，使得 $f(n)=\Theta(n^{\log_{b}{a}\,lg^k{n}})$ ，则 $T(n)=\Theta(n^{\log_{b}{a}}\,lg^{k+1}{n})$
我们就假设 $f(n)=n^{\log_{b}a}\lg^k{n}$ ，则：
$\begin{array}{l} \quad\sum\limits_{i=0}^{\log_{b}{n}-1}a^if\left( \frac{n}{b^i} \right) \\ =\sum\limits a^{i}(\frac{n}{b^{i}})^{\log_{b}{a}}\lg^k{(\frac{n}{b^i})} \\ =\sum\limits a^{i}\frac{n^{\log_{b}a}}{a^{i}}(\lg{n}-i\lg{b})^k \end{array}$
这个 $lg{n}-i\lg{b})^k$ 二项展开的话会发现，次数肯定是 $lg^k{n}$ 决定的，则：
$\begin{array}{l} \approx \sum\limits n^{\\log_{b}a}\lg^k{n} \\ =\log_{b}{n} \cdot n^{\\log_{b}a}\lg^k{n} \\ =n^{\log_{b}{a}}\,lg^{k+1}{n} \end{array}$
③ 若 $\exists \varepsilon>0$ ，使得 $f(n)=\Omega(n^{\log_{b}{a}+\varepsilon})$ ，且存在 $0 < c < 1$ 以及正整数 $N_{0}$ ，使得当 $n>N_{0}$ 时，有 $af(\frac{n}{b}\leq cf(n))$ ，则 $T(n)=\Theta(f(n))$
当满足条件时，有 $cf(n)\geq af(\frac{n}{b})$ ，得到：
$f(n)\geq \frac{a}{c}f(\frac{n}{b}) \geq \frac{a^{2}}{c^{2}}f(\frac{n}{b^{2}})\geq\dots\geq\frac{a^{i}}{c^{i}}f(\frac{n}{b^{i}})$
故 $f(n)\geq\frac{a^{i}}{c^{i}}f(\frac{n}{b^{i}})$ ；需要满足所有大于等于的条件，发现只需要最后一个大于等于满足即可，即 $\frac{n}{b^{i}}\gt N_{0}\implies i< \log_{b}n-\log_{b}{N_{0}}+1$
$\begin{array}{l} \quad\sum\limits_{i=0}^{\log_{b}{n}-1}a^if\left( \frac{n}{b^i} \right) \\ =\sum\limits_{i=0}^{\log_{b}^n-\log_{b}^{N_{0}}} a^if\left( \frac{n}{b^i} \right)+\sum\limits_{i=\log_{b}^n-\log_{b}^{N_{0}}+1}^{\log_{b}n-1}a^if\left( \frac{n}{b^i} \right) \end{array}$
左项是满足 $i< \log_{b}n-\log_{b}{N_{0}}+1$ 的条件，有：
$\leq \sum\limits_{i=0}^{\log_{b}^n-\log_{b}^{N_{0}}}c^if(n)=O(f(n))$
右项是 $O (1)$ ，展开也看不出来（直接把 $f (n)$ 看作 $O(n^{\log_{b}a+{\varepsilon}})$ ）：
$\begin{array}{l} =\sum\limits a^i\left( \frac{n}{b^i} \right)^{\log_{b}a+\varepsilon} \\ =\sum\limits a^i\frac{n^{\log_{b}a+\varepsilon}}{a^i\cdot b^{i\varepsilon}} \\ =n^{\log_{b}a+\varepsilon}\sum\limits\frac{1}{b^{i\varepsilon}} \\ =\frac{1-(\frac{1}b^{\varepsilon})^{\log_{b}N_{0}-1}}{1-\frac{1}{b^{\varepsilon}}}\cdot \frac{1}{b^{\varepsilon(\log_{b}n-\log_{b}N_{0}+1)}} \cdot n^{\log_{b}a+\varepsilon} \end{array}$
第一项是常数，后边两项乘起来看着像个常数

Akra-Bazzi 定理

Th：设 $g (x)$ 为一非负函数， $T(x)=\left\{\begin{array}{ll}\Theta(1) & ,1\leq x \leq X_{0} \\ \sum\limits_{i=1}^k a_{i}T(\frac{x}{b_{i}})+g(x)& ,n>X_{0} \end{array}\right.$ （其中 $k\geq 1$ ， $a_{i}>0$ ， $b_{i}>1$ ， $X_{0}$ 满足对任意 $1\leq i\leq k$ 有 $X_{0}>b_{i}$ 且 $X_{0}>\frac{b_{i}}{b_{i}-1}$ ），若 $g (x)$ 满足多项式增长条件， $p$ 为方程 $\sum\limits_{i=1}^k\frac{a_{i}}{b_{i}^p}=1$ 的实数解，则：
$T(x)=\Theta\left( x^p\left( 1+\int_{1}^x \frac{g(x)}{x^{p+1}}dx \right) \right)$
例： $T(n)=2T(\frac{n}{4}+3T(\frac{n}{6})+n\lg{n})$
解 $\frac{2}{4^p}+\frac{3}{6^p}=1$ 得 $p = 1$
$\begin{array}{l} \quad T(n) \\ =\Theta(n(1+\int_{1}^n \frac{x\lg{x}}{x^{2}} dx)) \\ =\Theta(n(1+\frac{1}{2}\lg^2{n})) \\ =\Theta(n\lg^2{n}) \end{array}$