算法导论习题—排序、最坏情况线性时间选择算法、小顺序统计量

$1.$ 下面的排序算法中哪些是稳定的:插入排序、归并排序、堆排序、快速排序和计数排序?给出一个能使任何排序算法都稳定的方法。你所给出的方法带来的额外时间和空间开销是多少?

​ 插入排序、归并排序、计数排序是稳定的。

​ 将数组元素的下标也考虑在比较过程中，即对于原始数组$arr$的每一个元素$arr[i]$都建立一个结构体 a [ i ] ： { v a l u e : a r r [ i ] , i n d e x : i } a[i]：\{value:arr[i],index:i\} a[i]：{value:arr[i],index:i}存入结构体数组$a$中，在比较大小时，当$a[i].value<a[j].value$或者$a[i].value==a[j].value\&\&a[i].index<a[j].index$时我们认为$a[i]<a[j]$，否则认为$a[i]>a[j]$，按照这个规则进行排序可以保证任意的排序算法均是稳定的，需要的空间是原来的两倍，额外时间在于$a[i].value==a[j].value$时对$index$进行比较的时间，但在线性时间内，不影响总体时间复杂度。

$2.$给定一个整数数组，其中不同的整数所包含的数字的位数可能不同。但该数组中，所有整数中包含的总数字位数为$n$。设计算法使其可以在$O(n)$时间内对该数组进行排序。

设第$i$个整数的位数为$c_i$，有$m$个整数，则$\sum _{i=1}^m{c}_i=n$，若最高位数为$c_{max}\le n$，则此时使用基数排序的时间复杂度为$\Theta (c_{max}\cdot m)$，不满足$O(n)$时间复杂度的要求。

​ 考虑将数组先按数字位数进行分组，再对每一组采用基数排序，对第$i$个有$c_i$位的整数，确定它的位数需要的时间为$c_i$，则确定所有分组需要的时间为$\sum _{i=1}^m{c}_i=n=\Theta (n)$。假设总共分为$x$组，对于第$k$组，该组的每个元素位数为$c_k$，有$m_k$个元素，总位数及总元素个数分别为$\sum _{k=1}^x{c}_k=n,\sum _{k=1}^x{m}_k=m$，对第$k$组采用基数排序的时间复杂度为$\Theta (c_k\cdot m_k)$，总时间复杂度为$\sum _{k=1}^x\Theta (c_k\cdot m_k)=\Theta (c_1{m}_1)+\Theta (c_2{m}_2)+\dots +\Theta (c_x{m}_x)=\Theta (n)$，满足在$O(n)$时间内进行排序的要求。

$3$.(小顺序统计量) $SELECT$算法(找第$i$小的元素)最坏情况下的比较次数$T(n)=\Theta (n)$，但是其中的常数项是非常大的。请对其进行优化，使其满足:

1. 在最坏情况下的比较次数为$\Theta (n)$。

2. 当$i$是小于$n/2$的常数时，最坏情况下只需要进行$n+O(\log n)$次比较。

将输入的数组划分为$\lfloor n/2\rfloor$组，比较次数为$\lfloor \frac{n}{2}\rfloor$，划分后每组有$2or1$个元素，然后令每组的较小元素构成一个集合，并对该集合递归执行划分操作，当要找的第$i$个元素$i\ge \frac{n}{2}$时，跳出递归，此时比较次数为$U_i(\lceil \frac{n}{2}\rceil )$，再对该较小元素集合中的前$i$个数和对应的较大元素集合中的前$i$个数执行$Select$算法，共有$2i$个数字，若初始存在只有一个元素的分组，则将该元素加入这$2i$个数中参与比较，此比较次数为$T(2i)$。

步骤$1$：对于输入的$n$个数，判断是否满足$i\ge \frac{n}{2}$，不满足则执行步骤$3$，若满足则对数组两两比较，需比较$\lfloor \frac{n}{2}\rfloor$次，得到两部分，其中一部分由各数对中较大数组成，另一部分由较小数组成

步骤$2$：判断需要找的第$i$小的数，$i$是否$\ge$由当前较小数组成的集合元素数量$n$的一半，即是否满足$i\ge \frac{n}{2}$，若满足则继续执行步骤$1$，若不满足，则执行步骤$3$

步骤$3$：采用$Select$方法对最后分组进行划分，此时前$i$个数是该分组最小的$i$个数，对应的较大元素的分组的元素依次大于该分组，取两个分组中前$i$个数，若初始存在只有一个元素的分组，则将该元素加入这$2i$个数中参与比较，再对这$2i$或$2i+1$个数执行$Select$算法

得到：
$$U_i(n)=\{\begin{array}{rl}& T(n)i\ge \frac{n}{2}\\ & \lfloor \frac{n}{2}\rfloor +U_i(\lceil \frac{n}{2}\rceil )+T(2i)else\end{array}$$
$i<\frac{n}{2}$时，比较次数为$\lfloor {\log }_2(\frac{\frac{n}{2}}{i})\rfloor$，最后运行一次$Select$算法，则总次数为$\lfloor \frac{n}{2}\rfloor +\lfloor \frac{n}{4}\rfloor +\dots +T(2i)<n+({\log }_2(\frac{\frac{n}{2}}{i}+1)T(2i)=n+O(T(2i){\log }_2(\frac{n}{i}))$，当$i$为小于$n/2$的常数时，$T(2i)、{\log }_2(i)$也为常数，则总次数为$n+O(\log n)$。