算法基础总结

算法基础总结

本文索引

• 分治算法
• 归并排序
• 快速排序
• 动态规划
• 贪心算法
• 回溯法
• 分支限界法

算法（Algorithm）是指解题方案的准确而完整的描述，是一系列解决问题的清晰指令，算法代表着用系统的方法描述解决问题的策略机制。也就是说，能够对一定规范的输入，在有限时间内获得所要求的输出。

程序（Program）是为 实现特定目标或 解决特定问题而 用计算机语言编写的 命令序列的集合。

分治算法

分治法的设计思想是，将一个难以直接解决的大问题，分割成一些规模较小的相同问题，以便各个击破，分而治之。 

分治算法的适用范围

1.该问题的规模缩小到一定的程度就可以容易地解决；

2.该问题可以分解为若干个规模较小的相同问题，即该问题具有最优子结构性质

3.利用该问题分解出的子问题的解可以合并为该问题的解；

4.该问题所分解出的各个子问题是相互独立的，即子问题之间不包含公共的子问题。 

复杂度分析

归并排序

基本思想：

(1)将待排序元素分成大小大致相同的2个子集合

(2)分别对2个子集合进行排序

(3)最终将排好序的子集合合并成为所要求的排好序的集合。 

最坏时间复杂度：O(nlogn)

平均时间复杂度：O(nlogn)

辅助空间：O(n)

快速排序

基本思想：

（1）分解：将待排序序列根据基准元素分成三段，第一段中所有元素值均比基准元素值小，第二段为基准元素，第三段中所有元素均比基准元素值大。

（2）递归求解:递归调用分解后的左半部和右半部

（3）合并

最坏时间复杂度：O(n2)

最好时间复杂度：O(nlogn)

辅助空间：O(n)或O(logn)

动态规划

动态规划算法与分治法类似，其基本思想也是将待求解问题分解成若干个子问题

但是经分解得到的子问题往往不是互相独立的。不同子问题的数目常常只有多项式量级。在用分治法求解时，有些子问题被重复计算了许多次。

如果能够保存已解决的子问题的答案，而在需要时再找出已求得的答案，就可以避免大量重复计算，从而得到多项式时间算法。

矩阵相乘最优值计算问题

备忘录方法是动态规划的一个变种，递归实现。

求最大公共子序列问题

0-1背包问题

贪心算法

贪心算法总是作出在当前看来最好的选择。也就是说贪心算法并不从整体最优考虑，它所作出的选择只是在某种意义上的局部最优选择。

贪心选择性质和最优子结构性质。 

贪心选择性质是指所求问题的整体最优解可以通过一系列局部最优的选择，即贪心选择来达到。这是贪心算法可行的第一个基本要素，也是贪心算法与动态规划算法的主要区别。

当一个问题的最优解包含其子问题的最优解时，称此问题具有最优子结构性质，问题的最优子结构性质是该问题可用动态规划算法或贪心算法求解的关键特征。 

背包问题（PS:非0-1背包问题）、哈夫曼编码、单源最短路径问题。

单元最短路径

给定带权有向图G =(V,E)，其中每条边的权是非负实数。另外，还给定V中的一个顶点，称为源。现在要计算从源到所有其它各顶点的最短路长度。这里路的长度是指路上各边权之和。这个问题通常称为单源最短路径问题。Dijkstra算法是解单源最短路径问题的贪心算法。

最小生成树

设G =(V,E)是无向连通带权图，即一个网络。E中每条边(v,w)的权为c[v][w]。如果G的子图G’是一棵包含G的所有顶点的树，则称G’为G的生成树。生成树上各边权的总和称为该生成树的耗费。在G的所有生成树中，耗费最小的生成树称为G的最小生成树。

Prim算法

1).输入：一个加权连通图，其中顶点集合为V，边集合为E；

2).初始化：V_new = {x}，其中x为集合V中的任一节点（起始点），E_new = {},为空；

3).重复下列操作，直到V_new = V：

a.在集合E中选取权值最小的边，其中u为集合V_new中的元素，而v不在V_new集合当中，并且v∈V（如果存在有多条满足前述条件即具有相同权值的边，则可任意选取其中之一）；

b.将v加入集合V_new中，将边加入集合E_new中；

4).输出：使用集合V_new和E_new来描述所得到的最小生成树。

不断的通过寻找最短连接新节点的方式将所有节点串起来。

时间复杂度：O(n^2)

Kruskal算法

1).记Graph中有v个顶点，e个边

2).新建图Graph_new，Graph_new中拥有原图中相同的e个顶点，但没有边

3).将原图Graph中所有e个边按权值从小到大排序

4).循环：从权值最小的边开始遍历每条边 直至图Graph中所有的节点都在同一个连通分量中

                if 这条边连接的两个节点于图Graph_new中不在同一个连通分量中

                                         添加这条边到图Graph_new中

时间复杂度：O(eloge)(e为边数)

回溯法

回溯法的基本做法是搜索，或是一种组织得井井有条的，能避免不必要搜索的穷举式搜索法。这种方法适用于解一些组合数相当大的问题。

回溯法在问题的解空间树中，按深度优先策略，从根结点出发搜索解空间树。

解空间

问题的解向量：回溯法希望一个问题的解能够表示成一个n元式(x1,x2,…,xn)的形式。

显约束：对分量xi的取值限定。

隐约束：为满足问题的解而对不同分量之间施加的约束。

解空间：对于问题的一个实例，解向量满足显式约束条件的所有多元组，构成了该实例的一个解空间。

时间复杂度：O(2^n)

装载问题

有一批共n个集装箱要装上2艘载重量分别为c1和c2的轮船，其中集装箱i的重量为wi

装载问题要求确定是否有一个合理的装载方案可将这个集装箱装上这2艘轮船。如果有，找出一种装载方案。

容易证明，如果一个给定装载问题有解，则采用下面的策略可得到最优装载方案。

(1)首先将第一艘轮船尽可能装满；

(2)将剩余的集装箱装上第二艘轮船。

将第一艘轮船尽可能装满等价于选取全体集装箱的一个子集，使该子集中集装箱重量之和最接近。由此可知，装载问题等价于以下特殊的0-1背包问题。

批处理作业调度

给定n个作业的集合{J1,J2,…,Jn}。每个作业必须先由机器1处理，然后由机器2处理。作业Ji需要机器j的处理时间为tji。对于一个确定的作业调度，设Fji是作业i在机器j上完成处理的时间。所有作业在机器2上完成处理的时间和称为该作业调度的完成时间和。

批处理作业调度问题要求对于给定的n个作业，制定最佳作业调度方案，使其完成时间和达到最小。

N皇后问题

在n×n格的棋盘上放置彼此不受攻击的n个皇后。按照国际象棋的规则，皇后可以攻击与之处在同一行或同一列或同一斜线上的棋子。n后问题等价于在n×n格的棋盘上放置n个皇后，任何2个皇后不放在同一行或同一列或同一斜线上。

最大团问题

图的m着色问题

给定无向连通图G和m种不同的颜色。用这些颜色为图G的各顶点着色，每个顶点着一种颜色。是否有一种着色法使G中每条边的2个顶点着不同颜色。这个问题是图的m可着色判定问题。若一个图最少需要m种颜色才能使图中每条边连接的2个顶点着不同颜色，则称这个数m为该图的色数。求一个图的色数m的问题称为图的m可着色优化问题。

旅行售货员问题

分支限界法

以广度优先或以最小耗费优先的方式搜索解空间树。