线性时间排序

线性时间排序

Counting sort（计数排序）

计数排序是一个非基于比较的排序算法，该算法于1954年由 Harold H. Seward 提出。它的优势在于在对一定范围内的整数排序时，它的复杂度为$O(n+k)$（其中$k$是整数的范围），快于任何比较排序算法。当然这是一种牺牲空间换取时间的做法，而且当$O(k)>O(n\cdot log(n))$的时候其效率反而不如基于比较的排序（基于比较的排序的时间复杂度在理论上的下限是O(n*log(n)), 如归并排序，堆排序）¹，故适用于排序规模相对较小时（$k<n\cdot lgn$）使用。

1.算法步骤

由于伪代码难以让人理解，我们以一个例子开始

---

1、我们有一个待排序数组$A$，并在A下给予相应的编号(从1开始)：
$$A=[4_1,1_2,3_3,4_4,3_5]$$

我们根据A的取值范围定义一个数组$C$（长度为$max(C)$-$min(C)$）
其中下标为对应$A$的值的位置
$$C=[0_1,0_2,0_3,0_4]$$
2、我们根据编号从一开始，将$A$遍历一遍，同时在$C$中将相应的值每次加一。
换一种思路：$C$对应的值为在$A$中遍历到的位置的值$-min(C)$即$C[A[当前位置]-1]$
则有：
第一个位置的数为$4$，我们将$C$中的$4$位置对应的数$+1$，则变更以后的$C$为：
$$C=[0_1,0_2,0_3,1_4]$$
同理，第二个数为$1$，则我们将$2$对应的数数$+1$，则变更以后的$C$为：
$$C=[1_1,0_2,0_3,1_4]$$
最终我们得到的$C$为：
$$C=[1,0,2,2]$$
3、我们对$C$进行处理，将将$C$从第一个位置开始，每一个位置的值为原来此位置的值加上前一个位置的值，我们将之叫为$C^{\prime }$
即：
$$C[1]=C[1]+C[0]=1$$
$$C[2]=C[2]+C[1]=3$$
$$C[3]=C[3]+C[2]=5$$
$$C^{\prime }=[1,1,3,5]$$ 为了节省空间我们可以直接在$C$上操作，但为了易于辨别，我们将操作后的数组命名为$C^{\prime }$。
4、我们新建一个数组，这个数组的长度与带排序的数组相同：
$$A^{\prime }=[0,0,0,0,0]$$A'中的值可以为空，仅需要长度与A相同即可

我们从A开始进行一次遍历，将每一个数字直接放在其应该在的位置上。从$A$中的第一个数字开始，值为$4$，在$C^{\prime }$中，我们找到第$4$列，即$4$所对应$C^{\prime }$中的列（我们是按照待排数值的范围确定$C$的长度的，若以下标来讲，我们$C^{\prime }$所对应的值为$C^{\prime }[A[当前位置]-min(C)]$）.
我们取到
$$C^{\prime }[4]=5$$
再将$A^{\prime }$中的第$5$列的值赋值为$4$（待排数的值），将$C^{\prime }$第$4$列的值$-1$
新的数组为：
$$C^{\prime }=[1,1,3,4]$$
$$A^{\prime }=[0,0,0,0,4]$$
同理，$A$中的第二个数为$1$，在$C^{\prime }$中第一列，值为$1$，则我们将$A^{\prime }$中的第$1$个位置赋值为$1$，将$C^{\prime }$第$1$列的值$-1$,则第$2$个赋值之后新的数组为:
$$C^{\prime }=[0,1,3,4]$$
$$A^{\prime }=[1,0,0,0,4]$$
我们省去过程，将每一次的迭代结果给出：
第三次：
$$C^{\prime }=[0,1,2,4]$$
$$A^{\prime }=[1,0,3,0,4]$$
第四次：
$$C^{\prime }=[0,1,2,3]$$
$$A^{\prime }=[1,0,3,4,4]$$
第五次：
$$C^{\prime }=[0,1,1,3]$$
$$A^{\prime }=[1,3,3,4,4]$$
经过这一次的遍历，我们可直接得到$A^{\prime }$这个排序完毕的数组。

多么美妙的排序过程啊！
然而太大的Cache占用过多的Cache访问会导致时间相较于Quicksort还要长，但在开头的分析之下，排序速度依然是Counting sort占优。所以更好的办法是我们将Quicksort与Counting sort结合使用，相关的内容及结合后的时间复杂度分析详见另一篇Blog。

Radix sort （基数排序）

1、算法步骤

作为一个古老的排序算法（大约出现在1890），我们依然已一个例子来作演示。
1、设我们的待排数组为
$A=[329,457,657,839,436,720,355]$
由于算法是从最后一位开始排序的，我们将他们竖着写
$$329$$
$$457$$
$$657$$
$$839$$
$$436$$
$$720$$
$$355$$
我们从待排数组的最后一位开始，从$0-9$即由小到大排列
2、由于第一小的是$0$则我们将$720$放在第一个，第二小的为$5$我们将$355$放在$720$后面，值得注意的是我们需要考虑排序的稳定性，即需要自上而下开始查看。
第二位与第一位暂时不需要考虑，则我们得到的数列为
$$720$$
$$355$$
$$436$$
$$457$$
$$657$$
$$329$$
$$839$$
3、同理可得对于倒是第二位的排序：
$$720$$
$$329$$
$$436$$
$$839$$
$$355$$
$$457$$
$$657$$
4、再对最后一位进行排序：
$$329$$
$$355$$
$$436$$
$$457$$
$$657$$
$$720$$
$$839$$

---

1. 比较排序的时间复杂度下限证明详见两一篇blog，地址：比较算法时间复杂度最小值的证明。 ↩︎