数据结构与算法笔记：基础篇 - 排序(上)：为什么插入排序比冒泡排序更受欢迎？

概述

排序，我们都很熟悉。你学的第一个算法，可能就是排序。大部分编程语言中，也都提供了排序函数。在平常的项目中我们也经常用到排序。排序非常重要，所以我会花多一点时间来详细讲一讲经典的排序算法。

排序算法太多了，有可能可能你连名字都没有听说过，比如猴子排序、睡眠排序、面条排序等。这里，我只讲众多排序算法中的一小撮，也是最经典、最常用的：冒泡排序、插入排序、选择排序、归并排序、快速排序、技术排序、基数排序、桶排序。我们按照时间复杂度把它们分成了三类，我们会使用 3 个章节来进行讲解。

排序算法	时间复杂度	是否基于比较
冒泡、插入、选择	$O(n^2)$	yes
快排、归并	$O(nlogn)$	yes
桶、计数、基数	$O(n)$	yes

带着问题去学习，是最有效的学习方法。所以按照惯例，还是先给出一个思考题：插入排序和冒泡排序的时间复杂度相同，都是 $O(n^2)$，在实际开发中，为什么我们更倾向于使用插入排序算法而不是冒泡排序算法呢？

排序算法的执行效率

对于排序算法执行效率的分析，我们一般会从这几个方面来衡量：

1.最好情况、最坏情况、平均时间复杂度

我们在分析排序算法的时间复杂度时，要分别给出最好、最坏、平均情况下的时间复杂度。此外，你还要说出最好、最坏时间复杂度对应地要排序的原始数据是什么样的。

为什么要区分这三种时间复杂度呢？

• 第一，有些排序算法会区分，为了好对比，所以我们最好都做一下区分。
• 第二，对于要排序的数据，有的接近有序，有的完全无序。有序度不同的数据，对于排序的执行时间肯定是有影响的，我们要知道排序算法在不同数据下的性能表现。

2.时间复杂度的系数、常数、低阶

我们知道，时间复杂度反映的是数据规模 n 很大时候的一个增长趋势，所以它表示的时候会忽略系数、常数、低阶。但是实际开发中，我们排序的可能是 10 个、100 个、1000 个这样规模很小的数据，所以，在同一阶时间复杂度的排序算法性能对比的时候，就要把系数、常数、低阶也考虑进来。

3.比较次数和交换（或移动）次数

本章和下一章都是基于比较的排序算法。基于比较的排序算法的执行过程，会涉及两种操作，一种是元素比较大小，另一种是元素交换或移动。所以，如果我们在分析排序算法的执行效率的时候，应该把比较次数和交换（或移动）次数也考虑进去。

排序算法的内存消耗

我们前面讲过，算法的内存消耗可以通过空间复杂度来衡量，排序算法也不例外。不过，针对排序算法的空间复杂度，我们还引入了一个新的概念，原地排序（Sorted in place）。原地排序算法，就是特指空间复杂度是 $O(1)$ 的排序算法，都是原地排序算法。

排序算法的稳定性

仅用执行效率和内存消耗来衡量排序算法的好坏是不够的。针对排序算法，我们还有一个重要的度量指标，稳定性。这个概念是说，如果待排序的序列中存在值相等的元素，经过排序之后，相等元素之间原有的先后顺序不变。

我通过一个例子来解释下。比如我们有一组数据 2,9,3,4,8,3，按照大小排序之后就是 2,3,3,4,8,9。

这个数组里有两个 3。经过某种排序算法排序之后，如果两个 3 的前后顺序没有改变，那我们就把这种排序算法叫做稳定的排序算法；如果前后顺序发生变化，那对应地排序算法就叫做不稳定的排序算法。

你可能会问，两个 3 哪个在前，哪个在后有什么关系啊，稳不稳定又有什么关系呢？为什么要考察排序算法的稳定性呢？

很多数据结构和算法课程，在讲排序的时候，都是用整数来举例，但在真正软件开发中，我们要排序的往往不是单纯的整数，而是一组对象，我们需要按照对象的某个 key 来排序。

比如说，我们现在要给电商交易系统中的 “订单” 排序。订单有两个属性，一个是下单时间，另一个是订单金额。如果我们现在有 10 万条数据，我们希望按照金额从小到大对订单数据排序。对于金额相同的订单，我们希望按照下单时间从早到晚有序。对于这样一个需求，我们怎么来做呢？

最先想到的方法是：我们先按照金额对订单数据进行排序，然后再遍历排序之后的订单数据，对于金额相同的小区近再按照下单时间排序。这种排序思路理解起来不难，但实现起来会很复杂。

借助稳定排序算法，这个问题可以非常简洁的解决。解决思路是这样的：我们先按照下单时间给订单排序，注意是按照下单时间，而不是金额。排序完之后，我们借助稳定算法，按照订单金额重新排序。两遍排序之后，我们得到的订单数据就是按照金额从小到大排序，金额相同的订单按照下单时间从早到晚排序的。为什么呢？

稳定排序算法可以保持金额相同的两个对象，在排序之后的前后顺序不变。第一次排序之后，所有的订单按照下单时间从早到晚有序了。在第二次排序中，我们用的是稳定的排序算法，所以经过第二次排序之后，想通金额的订单仍然保持下单时间从早到晚有序。

冒泡排序

冒泡排序只会操作相邻的两个数据。每次冒泡操作都会对相邻的两个元素进行比较，看是否满足大小关系要求。如果不满足就让它俩互换。一次冒泡排序让至少一个元素移动到它应该在的位置，重复 n 次，就完成了 n 个数组的排序工作。

假设，要对一组数据 4,5,6,3,2,1，从小到大进行排序。第一次冒泡操作的详细过程就是这样的：

可以看出，经过一次冒泡操作之后，6 这个元素已经存储在正确的位置上了。要想完成所有数据的排序，我们只要进行 6 次这样的冒泡操作就醒来。

实际上，刚刚讲的冒泡过程还可以优化。当某次冒泡操作已经没有数据交换时，说明已经达到完全有序，不用在继续执行后续的冒泡操作。这里还有另外一个例子，这里面给 6 个元素排序，只需要 4 次冒泡就可以了。

冒泡排序算法的原理比较容易理解，具体代码如下所示。

public class Sort {
    // 冒泡排序，a表示数组，n表示数组大小
    public void bubbleSort(int[] a, int n) {
        if (n < 1) return;
        
        for (int i = 0; i < n; i++) {
            // 提前退出冒泡排序循环的标志位
            boolean flag = false;
            for (int j = 0; j < n - i - 1; j++) {
                if (a[j] > a[j + 1]) { // 交换
                    int tmp = a[j];
                    a[j] = a[j+1];
                    a[j+1] = tmp;
                    flag = true; // 表示有数据交换
                }
            }
            if (!flag) break; // 没有数据交换，提前退出
        }
    }
}

现在，接个我刚才分析排序算法的三个方面，我有三个问题要问你。

第一，冒泡排序是原地排序算法吗？

冒泡的过程只涉及相邻数据的交换操作，只需要常量级的临时空间，所以它的空间复杂性为 $O(1)$，是一个原地排序算法。

第二，冒泡排序算法是稳定的排序算法吗？

冒泡排序算法，只有交换时才可以改变两个元素的前后顺序。为了保证冒泡排序算法的稳定性，当有相邻的两个元素大小相等时，我们不做交换，相同大小的数据在排序前后不会改变顺序，所以冒泡排序是稳定的排序算法。

第三，冒泡排序的时间复杂度是多少？

最好情况下，要排序的数据已经时有序的了，我们只需要进行一次冒泡操作，就可以结束了，所以最好情况时间复杂度是 $O(n)$。而最坏的情况是，要排序的数据刚好时倒序排序的，我们需要进行 n 次冒泡所以最坏情况时间复杂度为 $O(n^2)$。

最好、最坏情况下的时间复杂度很容易分析，那平均情况下的时间复杂度是多少呢？我们前面讲过，平均时间复杂度就是加权平均期望时间复杂度，分析的时候要结合概率论的知识。

对于包含 n 个数据的数组，这 n 个数据就有 n! 中排列方式。不同的排列方式，冒泡排序执行的时间肯定是不同的。比如，前面的那两个例子，其中一个要进行 6 从冒泡，而另一个只需要 4 次。如果用概率论方法定律分析平均时间复杂度，设计的数据推挤和计算就会很复杂。我们这里还有一种思路，通过 “有序度” 和 “逆序度” 这两个概念来进行分析。

有序度是数组中具有有序关系的元素对的个数。有序元素对用数学表达式表示就是这样：

有序元素对： a[i] < a[j]，如果 i < j。

同理，对于一个倒序排列的数组，比如 6,5,4,3,2,1，有序度是 0；对于一个完全有序的数组，比如 1,2,3,4,5,6，有序度就是 n*(n-1)/2，也就是 15。我们把这种完全有序的数组的有序度叫做满有序度。

逆序度的定义正好跟有序度相反（默认从小到大为有序）。关于逆序度，就不举例讲解了。逆序元素对的公式如下：

有序元素对： a[i] > a[j]，如果 i < j。

关于这三个概念，我们还可以得到一个公式：逆序度 = 满有序度 - 有序度。我们排序的过程就是一种增加有序度，减少逆序度的过程，最后达到满有序度，就说明排序完成了。

还是拿前面的哪个冒泡排序的例子来说明。要排序的数组的初始状态是 4,5,6,3,2,1，其中有序元素对有 (4,5) (4,6) (5,6)，所以有序度是 3。n=6，所以排序完成之后终态的满有序度为 n * (n - 1) / 2= 15。

冒泡排序含两个操作原子，比较和交换。每交换一次，有序度就加1。不管算法怎么改进，交换次数总是确定的，即为逆有序度，也就是 n * (n - 1) / 2 - 初始有序度。此例中就是 15 - 3 = 12，要进行 12 次交换操作。

对于包含 n 个数据的数组进行冒泡排序，平均交换次数是多少呢？最坏情况下，初始状态的有序度是 0，所以要交换 n * (n - 1) / 2 次。最好情况下，初始状态的有序度是 n * (n - 1) / 2，就不需要交换。我们可以取中间值 n * (n - 1) / 4，来表示初始有序度既不是很高也不是很低的平均情况。

换句话说，需要进行 n * (n - 1) / 4 次交换操作，比较操作肯定要比交换操作多，而复杂度的上线是 $O(n^2)$，所以平均情况下的时间复杂度就是 $O(n^2)$。

这个平均时间复杂度推导过程其实并不严格，但是很多时候很实用，毕竟概率论的定量分析太复杂，不太好用。等后面讲到 “快排” 时，我们还会再用这种 “不严格” 的方法来分析平均时间复杂度。

插入排序（Insertion Sort）

我们先来看一个问题。一个有序数组，我们往里面添加一个新的数据后，如何保持数据有序呢？很简单，我们只要遍历数组，找到数据应该插入的位置将其插入即可。

这是一个动态排序的过程，即动态地往有序集合中添加数据，我们可以通过这种方法保持集合中的数据一直有序。而对于一组数据，我们也可以借鉴上面讲的插入方法，来进行排序，于是就有了插入排序算法。

那插入排序算法具体是如何借助上面的思想来实现排序的呢？

首先，我们将数组中的数据分为两个区间，已排序区间和未排序区间。初始已排序区间只有一个元素，就是数组中的第一个元素。插入算法的核心思想是取末排序期间中的元素，在已排序区间中找到合适的插入位置将其插入，并保证已排序区间数据一直有序。重复这个过程，直到未排序区间中元素为空，算法结束。

如图所示，要排序的数据是 4,5,6,1,3,2，其中左侧为已排序区间，右侧为未排序区间。

插入排序也包含两种操作，一种是元素的比较，一种是元素的移动。当我们需要将一个数据 a 插入到已排序区间时，需要拿 a 与已排序区间的元素一次比较大小，找到合适的插入位置。找到插入点之后，我们还需要将插入点之后的元素顺序往后移动一位，这样才能腾出位置给 a 插入。

对于不同的查找插入点方法（从头到尾、从尾到头），元素的比较次数是有区别的。但对于一个给定的初始序列，移动操作的次数总是固定的，就等于逆序度。

为什么说移动次数就等于逆序度呢？拿刚才的例子画一个图，你一看就明白了。满有序度是 n * (n - 1) / 2 = 15，初始序列的有序度是 5，所以你有序度是 10。插入排序中，数据移动的个数总和也等于 10 = 3 + 3 + 4。

插入排序的原理很简单吧？代码如下所示：

    // 插入排序，a表示数组，n表示数组大小
    public void insertionSort(int[] a, int n) {
        if (n < 1) return;

        for (int i = 1; i < n; i++) {
            int value = a [i];
            int j = i - 1;
            // 找要插入的位置
            for (; j >= 0; j--) {
                if (a[j] > value) {
                    a[j + 1] = a[i]; // 数据移动
                } else {
                    break;
                }
            }
            a[j + 1] = value;
        }
    }

这里还有三个问题要问你。

第一，插入排序是原地排序算法吗？

从实现过程很明显可以看出，插入排序算法的运行并不需要额外的存储空间，所以空间复杂度是 $O(1)$，也就是说，这是一个原地排序算法。

第二，插入排序是稳定排序吗？

在插入排序中，对于值相同的元素，我们可以选择将后面出现的元素，插入到前面出现元素的后面，这样就可以保持原有的前后顺序不变，所以插入排序算法是稳定的排序算法。

第三，插入排序的时间复杂度是多少？

如果要排序的数据已经是有序的，我们并不需要搬移任何数据。如果我们从头到尾在有序数组里面查找要插入的位置，每次只需要比较一个数据就能确定插入的位置。所以，这种情况下，最好情况时间复杂度为 $O(n)$。注意，这里是从头到尾遍历已经有序的数据。

如果数组是倒序的，每次插入都相当于在数组的第一个位置插入新的数据，所以需要移动大量的数据，所以最坏情况时间复杂度为 $O(n^2)$。

还记得我们在数组中插入一个数据的平均时间复杂度是多少吗？没错，是 $O(n)$。所以，对于插入排序来说，每次插入操作都相当于在数组中插入一个数据，循环执行 n 次插入操作，所以平均时间复杂度为 $O(n^2)$。

选择排序（Selection Sort）

选择排序算法的实现思路有点类似插入排序，也分已排序区间和未排序区间。但是选择排序每次都会从未排序区间中找到最小的元素，将其放到已排序区间的末尾。

选择排序的代码实现如下所示。

    // 选择排序，a表示数组，n表示数组大小
    public void selectionSort(int[] a, int n) {
        if (n < 1) return;

        for (int i = 0; i < n - 1; i++) {
            // 找最小的位置
            int min = i;
            for (int j = i + 1; j < n; j++) {
                if (a[j] < a[min]) {
                    min = j;
                }
            }
            // 交换
            int tmp = a[i];
            a[i] = a[min];
            a[min] = tmp;
        }
    }

照例也有三个问题需要你考虑。

首选，选择排序的空间复杂度为 $O(1)$，是一种原地排序算法。选择排序的最好情况时间复杂度、最坏情况时间复杂度和平均时间复杂度都是 $O(n^2)$。

• 因为每次都要从未排序区间内查找最小的值，所以即便是最好情况的有序数组，也要查找最小的值，每轮查找的复杂度为 n, n-1, ..., 3, 2, 1，总共需要查找 n*(n-1)/2 次。 所以，在最好情况时间复杂度为 $O(n^2)$。
• 而最坏情况和最好情况的查找一样，总共需要查找 n*(n-1)/2 次。另外最坏情况还需要进行一次交换交换操作，所以，最坏情况时间复杂度是 $O(n^2)$。
• 平均情况时间复杂度也就是 $O(n^2)$。

那选择排序是稳定的排序算法吗？

答案是否定的，选择排序是一种不稳定的排序算法。从前面画的图，你可以看出来，选择排序每次都要找剩余未排序元素中的最小值，并和前面的元素交换位置，这样就破坏了稳定性。

比如，5,8,5,2,9 这样一组数据，使用选择算法来排序的话，第一次找到最小元素 2，与第一个 5 交换位置，那第一个 5 和中间那个 5 的顺序就变了，所以就不稳定了。正式因此，相对于冒泡排序和插入排序，选择排序就稍微逊色了。

为什么插入排序比冒泡排序更受欢迎？

插入排序和冒泡排序的时间复杂度都是 $O(n^2)$，都是原地排序，为什么插入排序要比冒泡排序更瘦欢迎呢？

我们前面分析冒泡排序和插入排序的时候讲到，冒泡排序不管怎么优化，元素交换的次数是一个固定值，是原始数据的逆序度。插入排序是同样的，不更换怎么优化，元素移动的次数也等于原始数据的逆序度。

但是，从代码实现上来看，冒泡排序的数据交换要比插入排序的数据移动要复杂，冒泡排序需要 3 个赋值操作，而插入排序只需要 1 个。

// 冒泡排序的数据交换操作
if (a[j] > a[j + 1]) { // 交换
    int tmp = a[j];
    a[j] = a[j+1];
    a[j+1] = tmp;
    flag = true; // 表示有数据交换
}

// 插入排序的数据移动操作
if (a[j] > value) {
    a[j + 1] = a[i]; // 数据移动
} else {
    break;
}

我们把执行一个赋值语句的时间粗略地几位单位时间（unit_time），然后分别用冒泡排序和插入排序对同一个逆序度是 k 的数组进行排序，用冒泡排序需要 k 次交换操作，每次需要 3 个赋值语句，所以交换操作总耗时是 3 * k 次单位时间。而插入排序中数据移动只需要 k 个单位时间。

这个知识我们非常理论的分析，为了实验，针对上面的冒泡排序和插入排序 Java 代码，我写了一个性能对比测试程序，随机生成 1000 个数组，每个数组中包含 200 个数据，然后再我的机器上分别用冒泡和插入排序算法来排序，冒泡排序大约 700 ms 才能完成，而插入排序只需要 100 ms 左右就能搞定！

所以，冒泡排序和插入排序在时间复杂度上是一样的，都是 $O(n^2)$，但是如果我们希望把性能优化做到极致，那肯定首选插入排序。插入排序的算法思路也有很大的优化空间，我们知识讲了最基础的一种。如果你对插入排序的优化感兴趣，可以自行学习一下希尔排序。

小结

要想分析、评价一个排序算法，需要从执行效率、内存消耗和稳定性三个方面来看。因此，本章带你分析了三种时间复杂度都是 $O(n^2)$ 的排序算法，冒泡排序、插入排序、选择排序。你要重点掌握它们的分析方法。

这三种时间复杂度都是 $O(n^2)$ 的排序算法中，冒泡排序、选择排序，可能就纯粹停留在理论层面了，学习的目的也只是为了开拓思维，实际开发中应用并不多，但是插入排序还是挺有用的。后面讲排序优化的时候，会讲到，有些编程语言中的排序函数的实现原理会用到插入排序算法。

本章讲的三种排序算法，实现代码都非常简单，对于小规模数据的排序，用起来非常高效。但是在大规模数据排序的时候，这个时间复杂度还是稍微有点高，所以我们更倾向于下一章节要讲解的时间复杂度为 $O(nlogn)$ 的排序算法。