算法导论（3）概率分析和随机算法

算法导论（3）概率分析和随机算法

1.雇用问题

首先我们来考虑一个简单的问题，雇用问题。加入你需要雇用一名新的办公经理，你需要在n个候选人中挑选。我们建立理想化模型，假设雇用问题以如下流程进行：

HIRE-ASSISTANT(n)

best =0
for i=1 to n
    interview candidate i
    if candidate i is better than candidate best
        best =i
        hire candidate i

这个过程本身很简单，有点像是在一个序列中找最大值，但不同的是我们并不关心运行时间，而是总费用。假设面试费用为$c_i$，雇用费用比面试费用高很多，为$c_k$，若这个过程中我们雇用了m人（一个职位，但只要看到更优秀的候选人就马上雇用它并解雇之前雇用的人），这样我们的总费用为O($c_{i}n+c_{k}m$)。面试费用是固定的，所以我们可以不看面试费用。

由于面试候选人的顺序是不定的，所以有最好的情况和最坏的情况。

最坏的情况自然是面试的应聘者的顺序按应聘者的质量严格递增的顺序，这时我们雇用了n次，总费用为O($c_{k}n$)，但实际上我们并不知道应聘者的顺序也无法控制他们的顺序。我们只能考虑这个问题的平均情况。所以我们需要用概率分析来分析这个问题。

2.平均情况分析

假设应聘者的顺序是随机的，即n!种可能的排序中每一种出现的概率相等。

我们稍微修改一下规则，前面我们并不知道应聘者的顺序是不是随机的，现在我们假设得到了应聘者名单，每天随机安排一个应聘者来面试。

如果一个算法的行为不仅由输入决定，也由随机数生成器（random-number generator）产生的数值决定，则这个算法是随机的。由RANDOM(a,b)返回一个介于a和b之间的整数，且每个整数等概率出现。（通常编程语言中会提供一个伪随机数生成器）。

接下来出现了一个非常有意思的数学问题，应聘者的顺序随机的情况下，总费用的期望值是多少，也就是雇用次数m为多少。这个问题看似简单，却有一些值得思考的点，结果是什么也只有通过计算。这时看问题的角度很关键，只有找到合适的角度才能理解最终的结果。这个问题中，最大的问题是理解，第i个应聘者被应聘的概率为$\frac{1}{i}$。比如，第一个应聘者是必定被应聘的，这个是规定，第二个应聘者被应聘的概率为1/2这个还好理解，但第三个应聘者被应聘的概率为1/3，想想假设从n个人中随机依次抽出3个人，而这三个人质量是有差异的，由于是随机的所以其中任何一个人质量最高的概率是相等的，所以最后抽出的那个人质量最高的概率就是1/3，一次类推，这样就可以理解了。

我们要求的期望：
$$\begin{gathered} E=\sum _{i=1}^n\frac{1}{n} \\ =\ln n+O(1) \end{gathered}$$
所以我们的结论是前面的算法在平均情况下的总花费为$O(c_k\ln n$)。

3.随机算法

根据前面的分析，我们知道在应聘者顺序随机的情况下我们的总花费是$O(c_k\ln n$)，这个花费是可以接受的，但实际上我们并不知道顺序是不是随机的，实际的顺序既有可能是最好情况也有可能是最坏情况，为了使结果趋于稳定我们就强行让它随机。我们对于输入的分布如何不去管他，将随机性体现在算法上。这样一来理论上结果为最坏情况的概率就极大降低了。（妙啊！）。我们的算法在前面的算法的基础上稍做修改：

RANDOMIZED-HIRE-ASSISTANT(n)

randomly permute the list of candidates
best=0
for i=1 to n
	interview candidate i
    if candidate i is better than candidate best
    best=i
    hire candidate i

随机排列数组

我们这里讨论两种随机化方法，假定输入一个大小为n的数组。

一个一般的方法是为数组的每个元素赋予一个随机的优先级，过程如下

PERMUTE-BY-SORTING(A)

n=A.length
let P[1..n] be a new array
for i= 1 to n
	P[i]=RANDOM(1,n^3)
sort A,using P as sort keys

范围是1~$n^3$是为了让P中的所有数尽可能唯一。（书上是这么说，但是为了保证为了唯一增加一个循环判断过程就行了，如果不唯一的花算法不就有点问题了，另外由兴趣的可以证明一下所有元素都唯一的概率至少是1-1/n，也可以考虑一下在一些优先级相同时怎么实现算法）我们假定所有优先级是唯一的。

这个过程耗时的是第5步的排序，如果使用比较排序，耗时为Ω($n\lg n$)。

一个更好的方法是原址排列给定数组。

RANdOMIZE-IN-PLACE(A)

n=A.length
for i =1 to n
	swap A[i] with A[RANDOM(i,n)]