28个的经典编程算法

前十个是来自圣经的十大算法：
发起人的描述：《来自圣经的证明》收集了数十个简洁而优雅的数学证明，迅速赢得了大批数学爱好者的追捧。如果还有一本《来自圣经的算法》，哪些算法会列入其中呢？

第一名：Union-find
严格地说，并查集是一种数据结构，它专门用来处理集合的合并操作和查询操作。并查集巧妙地借用了树结构，使得编程复杂度降低到了令人难以置信的地步；用上一些递归技巧后，各种操作几乎都能用两行代码搞定。而路径压缩的好主意，更是整个数据结构的画龙点睛之笔。并查集的效率极高，单次操作的时间复杂度几乎可以看作是常数级别；但由于数据结构的实际行为难以预测，精确的时间复杂度分析需要用到不少高深的技巧。

第二名：Knuth-Morris-Pratt字符串匹配算法
    关于此算法的介绍，请参考此文：六、教你从头到尾彻底理解KMP算法。KMP算法曾经落选于二十世纪最伟大的十大算法，但人们显然不能接受，如此漂亮、高效的KMP算法竟然会落选。所以，此次最终投票产出生，KMP算法排到了第二名。

第三名：BFPRT 算法
    1973 年，Blum、Floyd、Pratt、Rivest、Tarjan集体出动，合写了一篇题为 “Time bounds for selection” 的论文，给出了一种在数组中选出第 k 大元素的算法，俗称"中位数之中位数算法"。依靠一种精心设计的 pivot 选取方法，该算法从理论上保证了最坏情形下的线性时间复杂度，打败了平均线性、最坏 O(n^2) 复杂度的传统算法。一群大牛把递归算法的复杂度分析玩弄于骨掌股掌之间，构造出了一个当之无愧的来自圣经的算法。
 
    我在这里简单介绍下在数组中选出第k大元素的时间复杂度为O（N）的算法：
    类似快排中的分割算法：
 
每次分割后都能返回枢纽点在数组中的位置s,然后比较s与k的大小
若大的话，则再次递归划分array[s..n]，
小的话，就递归array[left...s-1] //s为中间枢纽点元素。
否则返回array[s]，就是partition中返回的值。 //就是要找到这个s。
 
找到符合要求的s值后，再遍历输出比s小的那一边的元素。
 
    各位可参考在：算法导论上，第九章中，以期望线性时间做选择，一节中，
我找到了这个 寻找数组中第k小的元素的，平均时间复杂度为O（N）的证明：上述程序的期望运行时间，最后证明可得O(n)，且假定元素是不同的。

第四名：Quicksort（快速排序）
快速排序算法几乎涵盖了所有经典算法的所有榜单。它曾获选二十世纪最伟大的十大算法（参考这：细数二十世纪最伟大的10大算法）。关于快速排序算法的具体介绍，请参考我写的这篇文章：一之续、快速排序算法的深入分析，及十二、快速排序算法之所有版本的c/c++实现。

第五名：Floyd-Warshall all-pairs最短路径算法
关于此算法的介绍，可参考我写的此文：几个最短路径算法比较（http://blog.csdn.net/v_JULY_v/archive/2011/02/12/6181485.aspx）。
d[]: 二维数组. d[i,j]最小花费、或最短路径的邻边。

for k from 1 to n:
for i from 1 to n:
for j from 1 to n:

d[i,j] = min(d[i,j], d[i,k] + d[k,j])

第六名：Gentry's Fully Homomorphic Encryption Scheme（绅士完全同态加密机制）算法。
此算法很漂亮，它允许第三方执行任意加密数据运算得不到私钥（不是很了解）。

第七名：Depth First Search、Breadth First Search（深度、广度优先搜索）
它们是许多其他算法的基础。关于深度、广度优先搜索算法的具体介绍，请参考此文：教你通透彻底理解：BFS和DFS优先搜索算法。

第八名：Miller-Rabin作的类似的试验测试
这个想法是利用素数的性质(如使用费马大定理)的小概率寻找见证不数素数。如果没有证据是足够的随机检验后发现,这一数字为素数。

第九名：Binary Search （二分查找）
在一个有序的集合中查找元素，可以使用二分查找算法，也叫二分搜索。二分查找算法先比较位于集合中间位置的元素与键的大小，有三种情况（假设集合是从小到大排列的）：
1.键小于中间位置的元素，则匹配元素必在左边（如果有的话），于是对左边的区域应用二分搜索。
2.键等于中间位置的元素，所以元素找到。
3.键大于中间位置的元素，则匹配元素必在右边（如果有的话），于是对右边的区域应用二分搜索。
另外，当集合为空，则代表找不到。

第十名：Huffman coding（霍夫曼编码）
霍夫曼编码(Huffman Coding)是一种编码方式，是一种用于无损数据压缩的熵编码（权编码）算法。1952年，David A. Huffman在麻省理工攻读博士时所发明的，并发表于《一种构建极小多余编码的方法》（A Method for the Construction of Minimum-Redundancy Codes）一文。

十一、Cooley-Tukey FFT算法。快速傅里叶变换算法。关于傅里叶变换算法的介绍，请参考此文：十、从头到尾彻底理解傅里叶变换算法、上，及十、从头到尾彻底理解傅里叶变换算法、下。
 
十二、linear programming，线性规划。
十三、Dijkstra 算法。与上第五一样，又一种最短路径算法。具体介绍，请参考：二之续、彻底理解Dijkstra算法，和二（再续）、Dijkstra 算法+fibonacci堆的逐步c实现。
 
十四、Merge Sort。归并排序。
十五、Ford–Fulkerson算法。网络最大流算法。
十六、辗转相除法。
      在数学中，辗转相除法，又称欧几里得算法，是求最大公约数的算法，即求两个正整数之最大公因子的算法。此算法作为TAOCP第一个算法被阐述，足见此算法被重视的程度。它是已知最古老的算法, 其可追溯至3000年前。辗转相除法首次出现于欧几里得的《几何原本》（第VII卷，命题i和ii）中，而在中国则可以追溯至东汉出现的《九章算术》。扩展的辗转相除法则构造性地证明了，对任意整数a和b ，存在一对x、y使得 ax + by = gcd(a, b) 。
 
十七、RSA加密演算法。一种加密算法，日后再做详细介绍。
十八、遗传算法。可参考本人写的关于GA 算法的这篇文章：七、遗传算法 透析GA本质。
 
十九、最大期望（EM）算法。
    此算法入选数据挖掘领域十大经典算法。在统计计算中，最大期望（EM）算法是在概率（probabilistic）模型中寻找参数最大似然估计的算法，其中概率模型依赖于无法观测的隐藏变量（Latent Variable）。最大期望经常用在机器学习和计算机视觉的数据聚类（Data Clustering）领域。最大期望算法经过两个步骤交替进行计算，第一步是计算期望（E），利用对隐藏变量的现有估计值，计算其最大似然估计值；第二步是最大化（M），最大化在 E 步上求得的最大似然值来计算参数的值。M 步上找到的参数估计值被用于下一个 E 步计算中，这个过程不断交替进行。
 
二十、数据压缩
    数据压缩是通过减少计算机中所存储数据或者通信传播中数据的冗余度，达到增大数据密度，最终使数据的存储空间减少的技术。数据压缩在文件存储和分布式系统领域有着十分广泛的应用。数据压缩也代表着尺寸媒介容量的增大和网络带宽的扩展。
 
二十一、Hash函数
    Hash，一般翻译做“散列”，也有直接音译为“哈希”的，就是把任意长度的输入（又叫做预映射， pre-image），通过散列算法，变换成固定长度的输出，该输出就是散列值。关于hash表的详细阐述，请参考此篇文章：十一、从头到尾彻底解析Hash表算法。
 
二十二、Dynamic Programming（动态规划）。关于动态规划的粗略介绍，请参考此文：三、dynamic programming。
 
二十三、堆排序算法。
    堆排序算法作为一种快速稳定的算法，其平均时间复杂度（最坏也为）O（n*lgn）。当然，在实际应用中，一个实现的好的快速排序算法仍然要优于堆排序算法。不过，堆数据结构还可以作为高效的优先级队列。对堆排序算法作简单了解，可参考这：堆排序算法。
 
二十四、递归与回溯算法。此俩个算法，相信各位比较熟悉，在此不做赘述。  

二十五、最长公共子序列
    最长公共子序列，英文缩写为LCS（Longest Common Subsequence）。其定义是，一个数列 S ，如果分别是两个或多个已知数列的子序列，且是所有符合此条件序列中最长的，则 S 称为已知序列的最长公共子序列。
动态规划的一个计算最长公共子序列的方法如下：
    以两个序列 X、Y 为例子：
设有二维数组 f[i][j] 表示 X 的 i 位和 Y 的 j 位之前的最长公共子序列的长度，则有：
 
      f[1][1] = same(1,1)
      f[i][j] = max{f[i-1][j-1]+same(i,j)，f[i-1][j]，f[i][j-1]}
 
    其中，same(a,b)当 X 的第 a 位与 Y 的第 b 位完全相同时为“1”，否则为“0”。
此时，f[i][j]中最大的数便是 X 和 Y 的最长公共子序列的长度，依据该数组回溯，便可找出最长公共子序列。
 
    该算法的空间、时间复杂度均为O(n2)，经过优化后，空间复杂度可为O(n)，时间复杂度为O(nlogn)。更多详情，参见之前写的一篇拙文（不过，鉴于写的糟，日后会重写）：三、dynamic programming。
 
二十六、红黑树的算法与实现
    关于红黑树，linux内核中有实现，本BLOG内也已经写了4篇红黑树系列的文章。详情，请参考：五（续）、教你透彻了解红黑树。

二十七、A*搜寻算法。
    相对于BFS、Dijkstra 等算法，A*搜寻算法作为一种高效的最短路径搜索算法，如今，已得到日益广泛的应用。初步了解A*搜寻算法的高效及与其它最短路径算法的比较，请参考此文：一（续）、A*，Dijkstra，BFS算法性能比较及A*算法的应用。
 
二十八、图像特征提取与匹配之SIFT算法
    sift，尺度不变特征转换，是一种电脑视觉的算法用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量，此算法由 David Lowe 在1999年所发表，2004年完善总结。关于此算法，请参考如下，粗略介绍：九、图像特征提取与匹配之SIFT算法，利用第三方库编译过程：九（续）、sift算法的编译与实现，c语言一步一步实现sift算法：九之再续：一步一步用c语言实现sift算法、上，及九之再续：教你一步一步用c语言实现sift算法、下。