Coursera - Algorithm (Stanford) - 课程笔记 - Week 3

Quicksort - Algorithm

• 关键思想：在枢轴两侧划分数组（左小右大），因此需要重点考虑枢轴的选择
• 两个关于划分的有趣事实
  • 线性时间完成操作（$O(n)$），且不需要额外内存
  • 减小了问题的尺寸（应用分治法的关键）
• 基本算法过程
  • 如果当前子问题处理的长度为1，返回
  • 否则
    • 令p为当前子问题的序列的枢轴
    • 将当前问题的序列划分到枢轴的两侧
    • 对枢轴的两侧分别进行递归
• 划分的原位实现：
  • 以下假设枢轴量已经位于数组的第一个位置上（通过调整到达）
  • 单次扫描：已经扫描过的内容必是已经划分好的
• 划分算法简述：
  • 输入：数组A，给定边界坐标l，r
  • 确定枢轴p := A[l]
  • 初始化划分检查坐标i := l + 1
  • for j = l + 1 to r：
    • if A[j] < p：
      • swap A[j] and A[i]
      • i := i + 1
  • swap A[l] and A[i - 1]
• 运行时间复杂度：$O(n)$，其中$n$为当前子问题的数组的长度
• 快排算法的正确性独立于对枢轴选择的方法之不同
• 快排的效率极大地依赖枢轴的选择方式
  • 最糟糕情况（序列完全有序，枢轴取最小）$O(n^2)$
  • 最好情况（序列随机，枢轴取中间值）$O(n\log n)$
• 枢轴的选的方法
  • 随机枢轴：等概率挑选
  • 如果能够做到25-75的分割，这样的枢轴已经足够好
  • 如果超过半数的枢轴选择能够给出一个25-75的分割，已经很好
• 平均运行时间：对n长度的数组（随机），平均运行时间为$O(n\log n)$

Quicksort - Analysis

• 前提：
  • 固定一个长度n的数组A
  • 采样空间Ω：所有可能的枢轴选择
  • 关键随机变量：对$\sigma \in \Omega$，$C(\sigma )$为不同的项的比较次数
  • 引理，快排运行时间受制于比较次数
  • 证明目标，$E[C]=O(n\log n)$
• 由于快排的随机性和不平衡子问题，无法使用Master Method进行数学定式分析
• 构造块：
  • $z_i$，第$i$个$A$中最小的元素
  • 对$\sigma \in \Omega$，以及索引$i<j$，记$x_{ij}(\sigma )$为以$\sigma$为枢轴时，$z_i$和$z_j$的比较次数（0或者1）
• 分解方法
  • $\forall \sigma ,C(\sigma )={\sum }_{i=1}^{n-1}{\sum }_{j=i+1}^n{x}_{ij}(\sigma )$
  • $E[C]={\sum }_{i=1}^{n-1}{\sum }_{j=i+1}^{n}E[x_{ij}]$
  • $E[x_{ij}]=Pr[x_{ij}=1]$
  • $E[C]={\sum }_{i=1}^{n-1}{\sum }_{j=i+1}^{n}Pr[x_{ij}=1]$
• 通用分解方法原则
  • 明确需要关注的随机变量$Y$
  • 将这个随机变量表达成一些指示性（简单的）随机变量$Y={\sum }_l^M{x}_l$
  • 应用期望的线性性质$E[Y]={\sum }_l^{M}Pr[x_l=1]$
• 关键定理：$\forall i<j,Pr[z_i,z_j\text{get compared}]=\frac{2}{j-i+1}$
• 考虑集合：$z_i,z_{i+1},\dots ,z_{j-1},z_j$
  • 如果$z_i$和$z_j$被最先选为枢轴，那么二者将会比较一次
  • 否则，二者永远都不会比较，二者被分到两个不同的递归调用中
• 因此：$E[C]={\sum }_{i=1}^{n-1}{\sum }_{j=i+1}^n\frac{2}{j-i+1}=2{\sum }_{i=1}^{n-1}{\sum }_{j=i+1}^n\frac{1}{j-i+1}$
• 对于每一个固定的$i$，其对应的内部项的和为${\sum }_{j=i+1}^n\frac{1}{j-i+1}=\frac{1}{2}+\frac{1}{3}+\frac{1}{4}+\dots$
• 因此：$E[C]\le 2n\cdot {\sum }_{k=2}^n\frac{1}{k}$，其中加和项的时间复杂度为对数级
• 由此可以得出，比较次数的期望为$O(n\log n)$