【算法证明 二】快速排序的时间复杂度分析

快速排序是一种分治算法。选取主元后，将数组使用 partition 算法根据主元分割成两半，再对两半分别进行排序。假设左半边数量为 $q$，则右半边数量为 $n-q-1$。则由如下递归式，得到如下运行时间递归式：
$$T(n)=T(q)+T(n-q-1)+\Theta (n)$$

最坏时间复杂度

最坏情况下的复杂度显然是
$$T(n)=\underset{0\le q\le n-1}{\max }(T(q)+T(n-q-1))+\Theta (n)$$

这里使用代入法(数学归纳法)证明：假设 $T(n)\le c{n}^2$ 成立，代入等式右侧，原式有
$$T(n)\le c\cdot \underset{0\le q\le n-1}{\max }(q^2+(n-q-1{)}^2)+\Theta (n)$$
容易得到，$q^2+(n-q-1{)}^2$ 在端点取得最大值。因此：$q^2+(n-q-1{)}^2\le (n-1{)}^2=n^2-2n+1$，即

$$T(n)\le c(n^2-2n+1)+\Theta (n)\le c{n}^2$$
得到上界为$O(n^2)$
同理，假设$T(n)\ge c{n}^2$，使用数学归纳法也可以证明$T(n)=\Omega (n^2)$，因此最坏时间复杂度是$\Theta (n^2)$

期望时间复杂度

通过分析算法代码，可以知道，快速排序的操作主要为

1. partition 操作数量
2. partition 内部循环

对于1，易得其 $\le n$。对于 2，主要看其内部循环中的比较数量$X$。因此，算法的时间可以表示为 $O(n+X)$。其中 $n$ 在这里不重要，凑数用的。
如何计算快排的平均比较次数，即$E(X)$?
设 $X_{ij}$ 为 $i$ 与 $j$ 是否进行了比较，比较为 1， 没比较为 0 。因为在快速排序中，两个元素之间最多比较一次（因为元素只与主元比较，而主元不参与后序的递归过程）。因此， $X={\sum }_{i=1}^{n-1}{\sum }_{j=i+1}^n{X}_{ij}$
对其取期望，得
$$E(X)=\sum _{i=1}^{n-1}\sum _{j=i+1}^{n}E(X_{ij})=\sum _{i=1}^{n-1}\sum _{j=i+1}^n{P}_{ij},P_{ij}表示ij发生比较的概率$$

为方便叙述，设 $Z$ 为原数组集合的重命名， Z = { z 1 , z 2 , . . . , z n } Z= \{z_1, z_2, ... , z_n\} Z={z1​,z2​,...,zn​}，其中 $z_i$ 表示数组中第$i$ 大值（$Z$ 就是原数组排序后重命名一下）。
如何求 $ij$ 发生比较的概率 $P_{ij}$ 呢？从反向入手，什么时候 $z_i{z}_j$ 不会发生比较呢？显然当 $z_i{z}_j$ 之间的某一个 $z_x$ 先被选为主元之后，$z_i{z}_j$ 被分开了，所以后序的排序过程也一定不会发生比较。如果 $z_i$ 或者 $z_j$ 先被选为元素呢？那么 $z_i{z}_j$ 会发生比较。如果在 $[z_i,z_j]$ 以外的元素被选为主元呢？这并不重要。我们只关心 $[z_i,z_j]$ 中的数，谁先被选为主元。

因此，$P_{ij}$ 的计算大大致就清楚了，其等于 $[z_i,z_j]$ 中，$i,j$ 先被选为主元的概率，即
$$P_{ij}=\frac{1}{j-i+1}+\frac{1}{j-i+1}=\frac{2}{j-i+1}$$

代入原公式得
$$E(X)==\sum _{i=1}^{n-1}\sum _{j=i+1}^n\frac{2}{j-i+1}$$

将 $j-i$ 代换为 $k$ 得
$$E(X)=\sum _{i=1}^{n-1}\sum _{k=1}^{n-i}\frac{2}{k+1}<\sum _{i=1}^{n-1}\sum _{k=1}^{n-i}\frac{2}{k}=\sum _{i=1}^{n-1}O(lgn)=O(nlgn)$$

再基于比较排序的下界，可知，快速排序的期望复杂度是 $\Theta (nlgn)$

证明完毕。