一、简单排序
冒泡排序
适用于项数较少
排序原理:
1.
比较相邻的元素。如果前一个元素比后一个元素大,就交换这两个元素的位置。
2.
对每一对相邻元素做同样的工作,从开始第一对元素到结尾的最后一对元素。最终最后位置的元素就是最大值。
冒泡排序的时间复杂度分析
冒泡排序使用了双层
for
循环,其中内层循环的循环体是真正完成排序的代码,所以,
我们分析冒泡排序的时间复杂度,主要分析一下内层循环体的执行次数即可。
在最坏情况下,也就是假如要排序的元素为
{6,5,4,3,2,1}
逆序,那么:
元素比较的次数为:
(N-1)+(N-2)+(N-3)+...+2+1=((N-1)+1)*(N-1)/2=N^2/2-N/2;
元素交换的次数为:
(N-1)+(N-2)+(N-3)+...+2+1=((N-1)+1)*(N-1)/2=N^2/2-N/2;
总执行次数为:
(N^2/2-N/2)+(N^2/2-N/2)=N^2-N;
按照大
O
推导法则,保留函数中的最高阶项那么最终冒泡排序的时间复杂度为
O(N^2).
冒泡排序的代码实现:
public class Bulbble {
/*
对数组进行排序
*/
public static void sort(int[] a){
for(int i = a.length-1;i>0;i--){
for(int j = 0;j<i;j++){
if(greater(a[j],a[j+1])){
exch(a,j,j+1);
}
}
}
};
/*
比较v是否大于w
*/
public static boolean greater(int v,int w){
return v>w;
}
/*
i和j交换位置
*/
public static void exch(int[] a,int i,int j){
int temp;
temp = a[i];
a[i] = a[j];
a[j] = temp;
}
}
选择排序
选择排序是一种更加简单直观的排序方法。
需求:
排序前:
{4,6,8,7,9,2,10,1}
排序后:
{1,2,4,5,7,8,9,10}
排序原理:
1.
每一次遍历的过程中,都假定第一个索引处的元素是最小值,和其他索引处的值依次进行比较,如果当前索引处的值大于其他某个索引处的值,则假定其他某个索引出的值为最小值,最后可以找到最小值所在的索引
2.交换第一个索引处和最小值所在的索引处的值
选择排序的时间复杂度分析:
选择排序使用了双层
for
循环,其中外层循环完成了数据交换,内层循环完成了数据比较,所以我们分别统计数据
交换次数和数据比较次数:
数据比较次数:
(N-1)+(N-2)+(N-3)+...+2+1=((N-1)+1)*(N-1)/2=N^2/2-N/2;
数据交换次数:
N-1
时间复杂度:
N^2/2-N/2+
(
N-1
)
=N^2/2+N/2-1;
根据大
O
推导法则,保留最高阶项,去除常数因子,时间复杂度为
O(N^2);
选择排序与冒泡排序相比,比较次数一致,但交换次数较少。
选择排序的代码实现:
/*
对数组a进行排序
*/
function selectSort(arr){
let minIndex;
for(let i = 0;i <= arr.length-2;i ++){
minIndex = i;
for(let j = i;j < arr.length; j++){
if(isBig(arr[minIndex],arr[j])){
minIndex = j;
}
}
exchange(arr,i,minIndex)
}
return arr;
}
/*
判断v是否大于w
*/
function isBig(v,w){
return v>w;
}
/*
交换i和j
*/
function exchange(arr,i,j){
let temp = arr[i];
arr[i] = arr[j]
arr[j] = temp;
}
let arr = [4,6,8,7,9,2,10,1]
console.log(selectSort(arr))// [1, 2, 4, 6, 7, 8, 9, 10]
插入排序
插入排序(
Insertion sort
)是一种简单直观且稳定的排序算法。
插入排序的工作方式非常像人们排序一手扑克牌一样。开始时,我们的左手为空并且桌子上的牌面朝下。然后,我们每次从桌子上拿走一张牌并将它插入左手中正确的位置。为了找到一张牌的正确位置,我们从右到左将它与已在手中的每张牌进行比较,如下图所示:
需求:
排序前:
{4,3,2,10,12,1,5,6}
排序后:
{1,2,3,4,5,6,10,12}
排序原理:
1.
把所有的元素分为两组,已经排序的和未排序的;
2.
找到未排序的组中的第一个元素,向已经排序的组中进行插入;
3.
倒叙遍历已经排序的元素,依次和待插入的元素进行比较,直到找到一个元素小于等于待插入元素,那么就把待 插入元素放到这个位置,其他的元素向后移动一位;
插入排序的时间复杂度分析
插入排序使用了双层
for
循环,其中内层循环的循环体是真正完成排序的代码,所以,我们分析插入排序的时间复
杂度,主要分析一下内层循环体的执行次数即可。
最坏情况,也就是待排序的数组元素为
{12,10,6,5,4,3,2,1}
,那么:
比较的次数为:
(N-1)+(N-2)+(N-3)+...+2+1=((N-1)+1)*(N-1)/2=N^2/2-N/2;
交换的次数为:
(N-1)+(N-2)+(N-3)+...+2+1=((N-1)+1)*(N-1)/2=N^2/2-N/2;
总执行次数为:
(N^2/2-N/2)+(N^2/2-N/2)=N^2-N;
按照大
O
推导法则,保留函数中的最高阶项那么最终插入排序的时间复杂度为
O(N^2).
/*
对数组a进行排序
*/
function insertSort(arr){
for(let i = 1;i < arr.length;i ++){
for(let j = i;j >0;j --){
if(isBig(arr[j-1],arr[j])){
exchange(arr,j-1,j)
}else{
break;
}
}
}
return arr;
}
/*
判断v是否大于w
*/
function isBig(v,w){
return v>w;
}
/*
交换i和j
*/
function exchange(arr,i,j){
let temp = arr[i];
arr[i] = arr[j]
arr[j] = temp;
}
let arr = [4,6,8,7,9,2,10,1]
console.log(insertSort(arr))// [1, 2, 4, 6, 7, 8, 9, 10]
二、高级排序
之前我们学习过基础排序,包括冒泡排序,选择排序还有插入排序,并且对他们在最坏情况下的时间复杂度做了分 析,发现都是O(N^2)
,而平方阶通过我们之前学习算法分析我们知道,随着输入规模的增大,时间成本将急剧上 升,所以这些基本排序方法不能处理更大规模的问题,接下来我们学习一些高级的排序算法,争取降低算法的时间复杂度最高阶次幂。
希尔排序
希尔排序是插入排序的一种,又称
“
缩小增量排序
”
,是插入排序算法的一种更高效的改进版本。
前面学习插入排序的时候,我们会发现一个很不友好的事儿,如果已排序的分组元素为
{2,5,7,9,10}
,未排序的分组元素为{1,8}
,那么下一个待插入元素为
1
,我们需要拿着
1
从后往前,依次和
10,9,7,5,2
进行交换位置,才能完成真正的插入,每次交换只能和相邻的元素交换位置。那如果我们要提高效率,直观的想法就是一次交换,能把1
放到更前面的位置,比如一次交换就能把1
插到
2
和
5
之间,这样一次交换
1
就向前走了
5
个位置,可以减少交换的次数, 这样的需求如何实现呢?接下来我们来看看希尔排序的原理。
需求:
排序前:
{9,1,2,5,7,4,8,6,3,5}
排序后:
{1,2,3,4,5,5,6,7,8,9}
排序原理:
1.选定一个增长量h
,按照增长量
h
作为数据分组的依据,对数据进行分组;
2.对分好组的每一组数据完成插入排序;
3.减小增长量,最小减为1
,重复第二步操作。
增长量
h
的确定:增长量
h
的值每一固定的规则,我们这里采用以下规则:
int h=1
while(h<5){
h=2h+1;//3,7
}//循环结束后我们就可以确定h的最大值;
//h的减小规则为:
h=h/2
希尔排序的代码实现:
/*
对数组a进行排序
*/
function xiErSort(arr){
//确定h
let h = 1;
while(h<arr.length/2){
h=h*2+1
}
while(h>=1){
for(let i = h;i < arr.length;i ++){
for(let j = i;j >= h;j-=h){
if(isBig(arr[j-h],arr[j])){
console.log(arr[j-h],arr[j])
exchange(arr,j,j-h)
}else{
break;
}
}
}
h = Math.trunc(h/=2)
}
}
/*
判断v是否大于w
*/
function isBig(v,w){
return v>w;
}
/*
交换i和j
*/
function exchange(arr,i,j){
let temp = arr[i];
arr[i] = arr[j]
arr[j] = temp;
}
let arr = [9,1,2,5,7,4,8,6,3,5]
xiErSort(arr)
console.log(arr)
希尔排序的时间复杂度分析
在希尔排序中,增长量h
并没有固定的规则,有很多论文研究了各种不同的递增序列,但都无法证明某个序列是最好的,对于希尔排序的时间复杂度分析,已经超出了我们课程设计的范畴,所以在这里就不做分析了。
我们可以使用事后分析法对希尔排序和插入排序做性能比较。
测试数据文件夹下有一个reverse_shell_insertion.txt
文件,里面存放的是从
100000
到
1
的逆向数据,我们可以根据这个批量数据完成测试。测试的思想:在执行排序前前记录一个时间,在排序完成后记录一个时间,两个时间的时间差就是排序的耗时。
归并排序
归并排序是建立在归并操作上的一种有效的排序算法,该算法是采用分治法的一个非常典型的应用。将已有序的子序列合并,得到完全有序的序列;即先使每个子序列有序,再使子序列段间有序。若将两个有序表合并成一个有序表,称为二路归并。
需求:
排序前:
{8,4,5,7,1,3,6,2}
排序后:
{1,2,3,4,5,6,7,8}
排序原理:
1.
尽可能的一组数据拆分成两个元素相等的子组,并对每一个子组继续拆分,直到拆分后的每个子组的元素个数是1为止。
2.将相邻的两个子组进行合并成一个有序的大组;
3.
不断的重复步骤
2
,直到最终只有一个组为止。
归并原理:
归并排序代码实现:
var assist;
function less(v,w) {
return v<w;
}
//对arr进行排序
function sortt(arr){
assist = new Array(arr.length);
let lo=0;
let hi=arr.length-1;
sort1(arr,lo,hi)
}
//对arr从lo到hi的元素排序
function sort1(arr,lo,hi){
if(hi<=lo){
return
}
let mid = Math.floor((lo + hi)/2)
console.log(mid)
sort1(arr,lo,mid)
sort1(arr,mid+1,hi)
merge(arr,lo,mid,hi)
}
//从lo到mid为一组,从mid+1到hi为一组,对两组数据归并。
function merge(arr,lo,mid,hi){
//lo到mid这组数据和mid+1到hi这组数据归并到辅助数组assist对应的索引处
let i = lo;//定义一个指针,指向assist数组中开始填充数据的索引
let p1 = lo;//定义一个指针,指向第一组数据的第一个元素
let p2 = mid + 1;//定义一个指针,指向第二组数据的第一个元素
while(p1 <= mid && p2 <= hi){
if(less(arr[p1],arr[p2])){
assist[i++] = arr[p1++]
}else{
assist[i++] = arr[p2++]
}
}
while(p1<=mid){
assist[i++] = arr[p1++]
}
while(p2<=hi){
assist[i++] = arr[p2++]
}
for (let index=lo;index<=hi;index++){ arr[index]=assist[index]; }
}
let arr = [8,4,5,7,1,3,6,2]
sortt(arr)
console.log(arr)
归并排序时间复杂度分析:
归并排序是分治思想的最典型的例子,上面的算法中,对a[lo...hi]
进行排序,先将它分为
a[lo...mid]
和
a[mid+1...hi] 两部分,分别通过递归调用将他们单独排序,最后将有序的子数组归并为最终的排序结果。该递归的出口在于如果
一个数组不能再被分为两个子数组,那么就会执行
merge
进行归并,在归并的时候判断元素的大小进行排序。
用树状图来描述归并,如果一个数组有8个元素,那么它将每次除以
2
找最小的子数组,共拆
log8
次,值为
3
,所以树共有3
层
,
那么自顶向下第
k
层有
2^k
个子数组,每个数组的长度为
2^(3-k)
,归并最多需要
2^(3-k)
次比较。因此每层的比较次数为 2^k * 2^(3-k)=2^3,
那么
3
层总共为
3*2^3
。
假设元素的个数为
n
,那么使用归并排序拆分的次数为
log2(n),
所以共
log2(n)
层,那么使用
log2(n)
替换上面
3*2^3
中的3
这个层数,
最终得出的归并排序的时间复杂度为:log2(n)* 2^(log2(n))=log2(n)*n,
根据大O推导法则,忽略底
数,最终归并排序的时间复杂度为O(nlogn);
归并排序的缺点:
需要申请额外的数组空间,导致空间复杂度提升,是典型的以空间换时间的操作。
归并排序与希尔排序性能测试:
之前我们通过测试可以知道希尔排序的性能是由于插入排序的,那现在学习了归并排序后,归并排序的效率与希尔排序的效率哪个高呢?我们使用同样的测试方式来完成一样这两个排序算法之间的性能比较。
reverse_arr.txt
文件,里面存放的是从
1000000
到
1
的逆向数据,我们可以根据这个批量数据完成测试。测试的思想:在执行排序前前记录一个时间,在排序完成后记录一个时间,两个时间的时
间差就是排序的耗时。
快速排序
快速排序是对冒泡排序的一种改进。它的基本思想是:通过一趟排序将要排序的数据分割成独立的两部分,其中一部分的所有数据都比另外一部分的所有数据都要小,然后再按此方法对这两部分数据分别进行快速排序,整个排序过程可以递归进行,以此达到整个数据变成有序序列。
需求:
排序前
:{6, 1, 2, 7, 9, 3, 4, 5, 8}
排序后
:{1, 2, 3, 4, 5, 6, 7, 8, 9}
排序原理:
1.
首先设定一个分界值,通过该分界值将数组分成左右两部分;
2.
将大于或等于分界值的数据放到到数组右边,小于分界值的数据放到数组的左边。此时左边部分中各元素都小于或等于分界值,而右边部分中各元素都大于或等于分界值;
3.
然后,左边和右边的数据可以独立排序。对于左侧的数组数据,又可以取一个分界值,将该部分数据分成左右两部分,同样在左边放置较小值,右边放置较大值。右侧的数组数据也可以做类似处理。
4.
重复上述过程,可以看出,这是一个递归定义。通过递归将左侧部分排好序后,再递归排好右侧部分的顺序。当左侧和右侧两个部分的数据排完序后,整个数组的排序也就完成了。
切分原理:
把一个数组切分成两个子数组的基本思想:
1.
找一个基准值,用两个指针分别指向数组的头部和尾部;
2.
先从尾部向头部开始搜索一个比基准值小的元素,搜索到即停止,并记录指针的位置;
3.
再从头部向尾部开始搜索一个比基准值大的元素,搜索到即停止,并记录指针的位置;
4.
交换当前左边指针位置和右边指针位置的元素;
5.
重复
2,3,4
步骤,直到左边指针的值大于右边指针的值停止。
快速排序代码实现:
function exch(arr, i, j) {
let temp = arr[i];
arr[i] = arr[j]
arr[j] = temp;
}
function less(v, w) {
return v < w;
}
//对arr进行排序
function sort(arr) {
let lo = 0;
let hi = arr.length-1;
sort1(arr,lo,hi)
}
//对arr从lo到hi的元素排序
function sort1(arr, lo, hi) {
//退出递归
if (hi <= lo){
return;
}
//分为左子组和右子组
let par = partition(arr, lo, hi)//返回分组后分界值的索引
//左子组有序
sort1(arr, lo, par - 1)
//右子组有序
sort1(arr, par + 1, hi)
}
//lo到hi之间的元素分组,返回分组后分界值的索引。
function partition(arr, lo, hi) {
//确定分界值
let key = arr[lo];
//定义左指针和右指针
let left = lo;
let right = hi + 1;
//切分
while (1) {
//右→左,移动右指针,找到比分界值小的值停止
while(less(key,arr[--right])){
if(right == lo)break;
}
//左→右,移动左指针,找到比分界值大的值停止
while(less(arr[++left],key)){
if(left == hi)break;
}
//判断left是否>=right ? break : exch;
if(left>=right){
break;
}else{
//交换两个指针位置的元素
exch(arr,right,left)
}
}
console.log('right',right)
console.log('left',left)
exch(arr,lo,right)
return right;
}
let arr = [4, 8, 5, 7, 1, 3, 6, 2]
sort(arr)
console.log(arr)
快速排序和归并排序的区别:
快速排序是另外一种分治的排序算法,它将一个数组分成两个子数组,将两部分独立的排序。快速排序和归并排序是互补的:归并排序将数组分成两个子数组分别排序,并将有序的子数组归并从而将整个数组排序,而快速排序的方式则是当两个数组都有序时,整个数组自然就有序了。在归并排序中,一个数组被等分为两半,归并调用发生在处理整个数组之前,在快速排序中,切分数组的位置取决于数组的内容,递归调用发生在处理整个数组之后。
快速排序时间复杂度分析:
快速排序的一次切分从两头开始交替搜索,直到left
和
right
重合,因此,一次切分算法的时间复杂度为
O(n),
但整个快速排序的时间复杂度和切分的次数相关。
最优情况:每一次切分选择的基准数字刚好将当前序列等分。
如果我们把数组的切分看做是一个树,那么上图就是它的最优情况的图示,共切分了
logn
次,所以,最优情况下快速排序的时间复杂度为O(nlogn);
最坏情况:每一次切分选择的基准数字是当前序列中最大数或者最小数,这使得每次切分都会有一个子组,那么总共就得切分n
次,所以,最坏情况下,快速排序的时间复杂度为
O(n^2);
平均情况:每一次切分选择的基准数字不是最大值和最小值,也不是中值,这种情况我们也可以用数学归纳法证明,快速排序的时间复杂度为O(nlogn),
由于数学归纳法有很多数学相关的知识,容易使我们混乱,所以这里就不对平均情况的时间复杂度做证明了。
排序的稳定性
稳定性的定义:
数组arr
中有若干元素,其中
A
元素和
B
元素相等,并且
A
元素在
B
元素前面,如果使用某种排序算法排序后,能够保证A
元素依然在
B
元素的前面,可以说这个该算法是稳定的。
稳定性的意义:
如果一组数据只需要一次排序,则稳定性一般是没有意义的,如果一组数据需要多次排序,稳定性是有意义的。
例如要排序的内容是一组商品对象,第一次排序按照价格由低到高排序,第二次排序按照销量由高到低排序,如果第二次排序使用稳定性算法,就可以使得相同销量的对象依旧保持着价格高低的顺序展现,只有销量不同的对象才需要重新排序。这样既可以保持第一次排序的原有意义,而且可以减少系统开销。
常见排序算法的稳定性:
冒泡排序:(稳定)
只有当arr[i]>arr[i+1]
的时候,才会交换元素的位置,而相等的时候并不交换位置,所以冒泡排序是一种稳定排序算法。
选择排序:(不稳定)
选择排序是给每个位置选择当前元素最小的,
例如有数据
{5(1)
,
8
,
5(2)
,
2
,
9 },
第一遍选择到的最小元素为
2
,所以5(1)
会和
2
进行交换位置,此时
5(1)
到了
5(2)
后面,破坏了稳定性,所以选择排序是一种不稳定的排序算法。
插入排序:(稳定)
比较是从有序序列的末尾开始,也就是想要插入的元素和已经有序的最大者开始比起,如果比它大则直接插入在其后面,否则一直往前找直到找到它该插入的位置。如果碰见一个和插入元素相等的,那么把要插入的元素放在相等元素的后面。所以,相等元素的前后顺序没有改变,从原无序序列出去的顺序就是排好序后的顺序,所以插入排序是稳定的。
希尔排序:(不稳定)
希尔排序是按照不同步长对元素进行插入排序 ,
虽然一次插入排序是稳定的,不会改变相同元素的相对顺序,但在不同的插入排序过程中,相同的元素可能在各自的插入排序中移动,最后其稳定性就会被打乱,所以希尔排序是不稳定的。
归并排序:(稳定)
归并排序在归并的过程中,只有arr[i]<arr[i+1]
的时候才会交换位置,如果两个元素相等则不会交换位置,所以它并不会破坏稳定性,归并排序是稳定的。
快速排序:(不稳定)
快速排序需要一个基准值,在基准值的右侧找一个比基准值小的元素,在基准值的左侧找一个比基准值大的元素,然后交换这两个元素,此时会破坏稳定性,所以快速排序是一种不稳定的算法。