算法1.0 算法

算法是什么

算法（algorithm）就是任何 良定义 的计算过程，该过程取某个值或值的集合作为输入并产生某个值或值的集合作为输出，即是把输入换成输出的计算步骤的一个序列。

算法也可以看成是用于计算问题的工具，即描述一个特定的计算过程来实现问题所期望的输入/输出关系。

算法的特征

• 有穷性（Finiteness）：算法的有穷性是指算法必须能在执行有限个步骤之后终止；
• 确定性（Definiteness）：算法的每一步骤必须有确切的定义；
• 输入项（Input）：一个算法有0个或多个输入，以刻画运算对象的初始情况（所谓0个输入是指算法本身定出了初始条件）；
• 输出项（Output）：一个算法有一个或多个输出，以反映对输入数据加工后的结果。没有输出的算法是毫无意义的；
• 可行性（Effectiveness）：算法中执行的任何计算步骤都是可以被分解为基本的可执行的操作步骤，即每个计算步骤都可以在有限时间内完成（也称之为有效性）。

算法的评价

时间复杂度

一个算法中的语句最坏情况下执行次数称为语句频度或时间频度，记为$T(n)$；

若存在$f(n)$,使 ${\lim }_{n->\infty }\frac{T(n)}{f(n)}$ 为不等于零的常数，则称$f(n)$为$T(n)$的同数量级(阶)函数，记作

$$T(n)=O(f(n))$$

称$O(f(n))$为算法$T(n)$的渐进时间复杂度，简称时间复杂度。

计算

1. 取最大的项
2. 省略掉所有的常数系数、常数底数、常数项

渐进符号

$\Theta$记号（渐进紧确界）

对于函数 $f(n)$ 和 $g(n)$，$f(n)=\Theta (g(n))$，当且仅当 $\exists c_1,c_2,n_0>0$，使得 $\forall n\ge n_0,0\le c_1\cdot g(n)\le f(n)\le c_2\cdot g(n)$。

也就是说，如果函数 $f(n)=\Theta (g(n))$，那么我们能找到两个正数 $c_1,c_2$ 使得 $f(n)$ 被 $c_1\cdot g(n)$ 和 $c_2\cdot g(n)$ 夹在中间。

$O$ 记号（渐进紧确上界）

对于函数 $f(n)$ 和 $g(n)$，$f(n)=\Theta (g(n))$，当且仅当 $\exists c,n_0>0$，使得 $\forall n\ge n_0,0\le f(n)\le c\cdot g(n)$。

也就是说，如果函数 $f(n)=\Theta (g(n))$，那么我们能找到一个正数 $c$ 使得 $f(n)$ 在 $c\cdot g(n)$ 下面。

$\Omega$记号（渐进紧确下界）

对于函数 $f(n)$ 和 $g(n)$，$f(n)=\Theta (g(n))$，当且仅当 $\exists c,n_0>0$，使得 $\forall n\ge n_0,0\le c\cdot g(n)\le f(n)$。

也就是说，如果函数 $f(n)=\Theta (g(n))$，那么我们能找到一个正数 $c$ 使得 $f(n)$ 在 $c\cdot g(n)$ 上面。

主定理（M定理）

主定理为用来计算递归时间复杂度的定理（Master Theorem）

假设我们用递归递推式$$T(n)=aT(\frac{n}{b})+f(n)$$

其中 $a$ 为递归子问题的数量，$\frac{n}{b}$ 为每个子问题的规模，$f(n)$ 为分解和合并的时间。

那么就会有三种情况：

• 当 $f(n)$ 比 $n^{lo{g}_{b}a}$ 小时，$T(n)=\Theta (n^{lo{g}_{b}a})$
• 当 $f(n)$ 趋近于 $n^{lo{g}_{b}a}$ 时，$T(n)=\Theta (n^{lo{g}_{b}a}logn)$
• 当 $f(n)$ 比 $n^{lo{g}_{b}a}$ 大时，$T(n)=\Theta (f(n))$

二分查找的时间复杂度

$$T(n)=T(\frac{n}{2})+O(1)=\Theta (logn)$$

归并排序的时间复杂度

$$T(n)=2T(\frac{n}{2})+O(n)=\Theta (nlogn)$$

二叉树遍历的时间复杂度

$$T(n)=2T(\frac{n}{2})+O(1)=\Theta (n)$$

分类

常数时间

若对于一个算法，$T(n)$与输入大小无关，则称其具有常数时间，记作$O(1)$时间。

线性时间

如果一个算法的时间复杂度为$O(n)$，则称这个算法具有线性时间，或$O(n)$时间。

$O(n^2)$时间

以及$O(n^3)$时间，$O(n^4)$时间等

对数时间

若算法的$T(n)=O(logn)$，则称其具有对数时间。由于计算机使用二进制的记数系统，对数常常以2为底（即l$o{g}_{2}n$，有时写作$lgn$）。

推导：
设$T(n)=lo{g}_{a}n$，由换底公式可得$lo{g}_{a}n=\frac{lnn}{lna}$,因为$lna$为常数项，省略，所以$lo{g}_{a}n$与$lnn$为同一数量级函数，所以底数无意义，可省略。

线性对数时间

若一个算法时间复杂度$T(n)=O(nlogn)$，则称这个算法具有线性对数时间。

比较

一般来说，$O(n^2)>O(nlogn)>O(n)>O(logn)>O(1)$

关于时间复杂度

根据估计，电脑一秒钟大约能进行1亿次运算。据经验，当时间复杂度在2000w以下时，一般认为程序能在1s内跑完

空间复杂度

一个算法所耗费的存储空间记为$S(n)$；

若存在$f(n)$,使$n$ 趋近于无穷大时，$\frac{S(n)}{f(n)}$为不等于零的常数，则称$f(n)$为$S(n)$的同数量级函数，记作

$$S(n)=O(f(n))$$

称$O(f(n))$为算法$S(n)$的渐进空间复杂度，简称空间复杂度。

时空复杂度

时间复杂度和空间复杂度往往是相互影响的。当追求一个较好的时间复杂度时，可能会使空间复杂度的性能变差，即可能导致占用较多的存储空间；反之，当追求一个较好的空间复杂度时，可能会使时间复杂度的性能变差，即可能导致占用较长的运行时间。

算法的时间复杂度和空间复杂度合称为算法的复杂度。

算法

初级算法

进阶算法

1. 2.0 线性优化策略
2. 2.1分治与倍增