(MIT6.006) lecture07 线性排序算法

UTF8gbsn

比较算法的时间复杂度下限

我们来看看如何证明比较排序算法的时间复杂度下限为$\Omega (nlgn)$.

• 首先,一次比较可以确定两个元素的相对位置.

• 所有元素的和所有可能的排序结果,可以构成一颗比较决策树.比如下面的这颗树比较三个元素的比较树.
  
  我们可以看看三个元素的比较决策树,它含有所有的比较结果.$3!=6$种,每一个叶子节点是一个比较结果.

下面我们分析一下一般情况.如果n个元素排序那么可能有$n!$个结果.那么一颗比较决策树含有$n!$叶子节点.那么算法的事件复杂度就是这颗树的高度h.
如此我们可以列出第一个等式 $$\begin{array}{rl}h& ⩾lg(n!)\\ & =lg(1)+lg(2)+\cdots +lg(n)\\ & >\frac{n}{2}lg(n/2)\\ & =\frac{n}{2}lg(n)-\frac{n}{2}lg(n)\\ & =\Omega (nlgn)\end{array}$$

线性排序算法

因为比较排序的下限复杂度是$\Omega (nlgn)$,所以基于比较的排序算法没法提高到线性时间.但是,实际上有排序算法可以提高到线性时间.只是这些算法有其局限性.他们只能运用在整数上.而且要使用额外的空间.如果你的数据满足这些条件,那么你可以使用这些算法.而且可以在线性时间内完成排序.

计数排序

限制条件

• 整数

• 数值的范围比较小.

算法描述

• 如果你的数值范围集中在$0\sim n-1$.

• 开辟一个数组$B[n]$.并设每一个元素为０．

• 扫描你的数据$A[n]$,

  for k =0; k < n; k++:
      B[A[k]] = B[A[k]] +１
  

• 如此你就确定好每一个元素含有的个数．这个你扫描一遍Ｂ[n]就可以把每一个数据放回到指定的位置．

基数排序

基排序就更简单了．就是先按照个位进行排序．然后在进行１０位进行排序．接下来进行100位进行排序.以此类推.