条件期望求解快速排序算法复杂度

1 条件期望

定义1（条件期望）：给定随机变量$X$和$Y$，则有如下条件期望$$\mathrm{E}[X]=\mathrm{E}\left[\mathrm{E}[X|Y]\right]$$如果$Y$是离散随机变量，则有 E [ X ] = ∑ y E [ X ∣ Y = y ] P { Y = y } \mathrm{E}[X]=\sum\limits_{y}\mathrm{E}[X|Y=y]\mathrm{P}\{Y=y\} E[X]=y∑​E[X∣Y=y]P{Y=y}如果$Y$是密度为$f_Y(y)$的连续随机变量，则有$$\mathrm{E}[X]={\int }_{-\infty }^{\infty }\mathrm{E}[X|Y=y]f_Y(y)dy$$

证明： 离散随机变量的证明方式与连续随机变量证明方式一致，具体的证明过程如下所示 ∑ y E [ X ∣ Y = y ] P ( Y = y ) = ∑ y ∑ x x P { X = x ∣ Y = y } P { Y = y } = ∑ y ∑ x x P { X = x , Y = y } P { Y = y } P ( Y = y ) = ∑ y ∑ x x P { X = x , Y = y } = ∑ x x ∑ y P { X = x , Y = y } = ∑ x x P { X = x } = E [ X ] \begin{aligned}\sum\limits_y \mathrm{E}[X|Y=y]\mathrm{P}(Y=y)&=\sum\limits_y\sum\limits_{x}x \mathrm{P}\{X=x|Y=y\}\mathrm{P}\{Y=y\}\\&=\sum\limits_y \sum\limits_{x}x\frac{\mathrm{P}\{X=x,Y=y\}}{\mathrm{P}\{Y=y\}}\mathrm{P}(Y=y)\\&=\sum\limits_{y}\sum\limits_xx\mathrm{P}\{X=x,Y=y\}\\&=\sum\limits_{x}x\sum\limits_{y}\mathrm{P}\{X=x,Y=y\}\\&=\sum\limits_{x}x\mathrm{P}\{X=x\}=\mathrm{E}[X]\end{aligned} y∑​E[X∣Y=y]P(Y=y)​=y∑​x∑​xP{X=x∣Y=y}P{Y=y}=y∑​x∑​xP{Y=y}P{X=x,Y=y}​P(Y=y)=y∑​x∑​xP{X=x,Y=y}=x∑​xy∑​P{X=x,Y=y}=x∑​xP{X=x}=E[X]​证毕。

2 快速排序算法分析

 假设有$n$个不同的值$x_1,\cdots ,x_n$的一个集合，将它们按照递增次序排序，完成它的一个有效的算法是快速排序算法。当$n=2$时，该算法比较此二值，将它们置于合适的次序。当$n>2$时，它开始在$n$值中随机地选取一个，譬如$x_i$，然后将其它的$n-1$个值与$x_i$比较，以$S_i$记小于$x_i$的元素的集合，$\overline{S_i}$记大于$x_i$的元素即集合，然后分别对集合$S_i$和$\overline{S_i}$分别排序，所以，最后的次序由集合$S_i$元素的次序、$x_i$、集合$\overline{S_i}$元素的次序排列组成。
 假定元素集合是$10$，$5$，$8$，$2$，$1$，$4$，$7$，随机选取一个（即这$7$个值中的每一个选取的概率都是$\frac{1}{7}$）。假如值$4$被选取，然后将其它$6$个值得每一个与$4$做比较得到 { 2 , 1 } , 4 , { 10 , 5 , 8 , 7 } \{2,1\},4,\{10,5,8,7\} {2,1},4,{10,5,8,7}将集合 { 2 , 1 } \{2,1\} {2,1}排序得到 1 , 2 , 4 , { 10 , 5 , 8 , 7 } 1,2,4,\{10,5,8,7\} 1,2,4,{10,5,8,7}其次，在 { 10 , 5 , 8 , 7 } \{10,5,8,7\} {10,5,8,7}中随机选取一个，譬如取到的是$7$，而且将其它三个值与$7$作比较得到 1 , 2 , 4 , 5 , 7 , { 10 , 8 } 1,2,4,5,7,\{10,8\} 1,2,4,5,7,{10,8}最后将 { 10 , 8 } \{10,8\} {10,8}得到$$1,2,4,5,7,8,10$$该算法有效性的一个度量是做次数的期望。假定以$M_n$记$n$个不同值的一个集合的快速排序算法的比较次数的期望。令比较次数的随机变量为$X$，取到的第$j$小的值的随机变量为$Y$，则此时可以得到$M_n$的一个递推式$$M_n=\mathrm{E}[X]=\mathrm{E}[\mathrm{E}[X|Y]]=\sum _{j=1}^n\frac{1}{n}\mathrm{E}[X|Y]$$若初始的取值是第$j$小的值，则较小的集合的容量是$j-1$，较大的集合的容量是$n-j$。因此，由于对于选定的初始的取值需要作$n-1$次比较，可以得到$$M_n=\sum _{j=1}^n\frac{1}{n}(n-1+M_{j-1}+M_{n-j})=n-1+\frac{2}{n}\sum _{k=1}^{n-1}{M}_k$$其中$M_0=0$，等价于$$n{M}_n=n(n-1)+2\sum _{k=1}^{n-1}{M}_k$$为了求解上式，用$n+1$代替$n$得到$$(n+1)M_{n+1}=(n+1)n+2\sum _{k=1}^n{M}_k$$因此，经过相减得到$$(n+1)M_{n+1}-n{M}_n=2n+2M_n$$进一步则有$$(n+1)M_{n+1}=(n+2)M_n+2n$$所以$$\frac{M_{n+1}}{n+2}=\frac{2n}{(n+1)(n+2)}+\frac{M_n}{n+1}$$将此式迭代给出$$\begin{array}{rl}\frac{M_{n+1}}{n+2}& =\frac{2n}{(n+1)(n+2)}+\frac{2(n-1)}{n(n+1)}+\frac{M_{n-1}}{n}\\ & =\cdots \\ & =2\sum _{k=0}^{n-1}\frac{n-k}{(n+1-k)(n+2-k)}\end{array}$$从而$$M_{n+1}=2(n+2)\sum _{k=0}^{n-1}\frac{n-k}{(n+1-k)(n+2-k)}=2(n+2)\sum _{i=1}^n\frac{i}{(i+1)(i+2)},n\ge 1$$利用恒等式$$\frac{i}{[(i+1)(i+2)]}=\frac{2}{(i+2)}-\frac{1}{(i+1)}$$，则可以得到如下近似$$\begin{array}{rl}{M}_{n+1}& =2(n+2)\left[\sum _{i=1}^n\frac{2}{i+2}-\sum _{i=1}^n\frac{1}{i+1}\right]\\ & \sim 2(n+2)\left[{\int }_3^{n+2}\frac{2}{x}dx-{\int }_2^{n+1}\frac{1}{x}dx\right]\\ & =2(n+2)[2\ln (n+2)-\ln (n+1)+\ln 2-2\ln 3]\\ & =2(n+2)\left[\ln (n+2)+\ln \frac{n+2}{n+1}+\ln 2-2\ln 3\right]\\ & \sim 2(n+2)\ln (n+2)\end{array}$$进而可以知道快速排序算法的复杂度的期望是$O(n\log n)$。