算法设计第十三章 随机算法 randomed algorithm3

---

1 Chernoff Bounds

随机算法的核心是分析解的期望，但是我们不总是得到期望。因此要分析随机变量与期望之间的关系。

1.1 Markov’s Inequality 马尔可夫不等式

马尔可夫不等式
$$P(X\ge a)\le E(X)/a.$$
证明如下：
$$E(X)=\sum xP(x)\ge \sum _{x\ge a}xP(x)\ge aP(X>a)$$
马尔科夫不等式是弱的，因为界限太大。但是它是通用的，不需要对随机变量有任何假设。

1.2 Chebychev’s Inequality 切比雪夫不等式

切比雪夫不等式
$$P(|X-E(X)|\ge a)\le Var(X)/a^2.$$
根据马尔科夫不等式推导而出。证明如下：
$$\begin{gathered} Var(X)=E[(X-E(X){)}^2] \\ P(|X-E(X)|\ge a)=P[(X-E(X){)}^2\ge a^2]\le E[(X-E(X){)}^2]/a^2 \\ =Var[X]/a^2 \end{gathered}$$

1.3 Sum of independent 独立变量求和

1 $X_1,...X_n$是随机{0,1}变量，$P(X_i=1)=p_i$,$\mu =E[X]=\sum p_i$
$$\begin{gathered} 0<\delta <1,P[X\ge (1+\delta )\mu ]\le e^{-\mu {\delta }^2/3} \\ \delta >1,P[X\ge (1+\delta )\mu ]\le e^{-\mu \delta ln\delta /3} \\ 0\le \delta \le 1,P[X\le (1-\delta )\mu ]\le e^{-\mu {\delta }^2/2} \end{gathered}$$

2 对上述三种情况进行统一：
$$\delta >0,P(X\ge (1+\delta )\mu )\le (\frac{e^{\delta }}{(1+\delta {)}^{1+\delta }}{)}^{\mu }$$

3 遇到不是{-1,1}的情况，期望为0：
$X_1,...X_n$是随机{-1,1}变量，$P(X_i=1)=P(X_i=-1)=0.5$, 分布是对称的,$\delta \ge 0$,
$$P[X\ge \delta ]=P[X\le -\delta ]\le e^{-\frac{{\delta }^2}{2n}}$$

2 例子

2.1 coin filp

考虑投掷n次硬币，$X$是head的次数，$P(X\ge \frac{n}{2}+\lambda )$。
$$P(X\ge mu+\lambda )=P(X\ge \mu (1+\frac{\lambda }{\mu }))\le e^{-(\frac{\lambda }{\mu }{)}^2\frac{\mu }{3}}$$

2.2 Load balancing

假设有$n$个电脑，$m$个任务，给电脑随机分配任务。如何平衡？
$X_i$是电脑$i$被分配的任务。
$P(max(X_i)>O(\frac{lnn}{lnlnn}))<\frac{1}{n}$
$P(min(X_i)<\frac{1}{2}\mu )<\frac{1}{n}$

2.3 set banlancing

m个集合，是[n]的子集，用$n$-bit,S_i向量表示。将所有集合分为两个部分，$minmax|\sum S_i-\sum S_j{|}_{\infty }$,优化问题难解，随机分组。
X i ∈ { 1 , − 1 } X_i\in\{1,-1\} Xi​∈{1,−1}表示i元素属于哪个集合。
$B_i=\sum X_i$测量元素$i$的imbalance。
根据1.3 的3
$P(B_i>\sqrt{4mlnn})\le e^{-{\sqrt{4mlnn}}^2/(2k)}$。

2.4 LP

一般情况下，线性规划的解在顶点处取得，因此有很多约束是多余的，对于$d$维变量，d个约束即可确定该解。换言之，只有d个约束是紧的，剩下的是多余的。

随机算法通过随机的减去约束，判断减去约束后的解是否违反该约束来判读该约束是否是紧的。如果是紧的，我们将为问题投影到该约束上。

复杂度分析
$T(n,d)=T(n-1,d)+O(d)+d/n(O(dn)+T(n-1,d-1))$

总结

随机算法在过程中允许随机选择，核心是求期望，但是解经常不是期望值，因此用Chernoff Bounds 分析解的范围与概率。