马尔可夫不等式和切比雪夫不等式

本篇笔记内容来源
数理统计学导论（原书第7版） 机械工业出版社

---

马尔可夫不等式

设 $u(X)$ 是随机变量的非负函数. 如果 $E[u(X)]$ 存在，那么对于任何正常数 $c$ ，有

$$P[u(X)⩾c]⩽\frac{E[u(X)]}{c}$$

---

证明

（只给出连续情况下的证明，用求和替代积分后，此证明仍适用于离散情况）

设

A = { x : u ( x ) ⩾ c } ， f ( x ) 表示 X 的 p d f A=\{x:u(x)\geqslant c\}，f(x)表示X的pdf A={x:u(x)⩾c}，f(x)表示X的pdf

于是

$$\begin{array}{rl}E[u(X)]& ={\int }_{-\infty }^{\infty }u(x)f(x)\mathrm{d}x\\ & ={\int }_{A}u(x)f(x)\mathrm{d}x+{\int }_{A^c}u(x)f(x)\mathrm{d}x\end{array}$$

由于上面等式右边两项非负，所以

$$E[u(X)]⩾{\int }_{A}u(x)f(x)\mathrm{d}x$$

因为 $x\in A$ ，所以 $u(x)⩾c$ ，因此我们用 $c$ 代替 $u(x)$ 并不会使右边增大，所以

$$E[u(X)]⩾c{\int }_{A}f(x)\mathrm{d}x$$

又因为

$${\int }_{A}f(x)\mathrm{d}x=P(X\in A)=P[u(X)⩾c]$$

得

$$E[u(X)]⩾cP[u(X)⩾c]$$

证毕

---

（其实这个不等式是上篇笔记中马尔可夫不等式的特例，所以写在一起）
（不过这个不等式更直观，体现了方差与概率的关系）

---

切比雪夫不等式

设随机变量 $X$ 存在有限方差 ${\sigma }^2$ ，则对于任何 $k>0$ ，有

$$P(|X-\mu |⩾k\sigma )⩽\frac{1}{k^2}$$

---

证明

在马尔可夫不等式中，取

$$u(X)=(X-\mu {)}^2，c=k^2{\sigma }^2$$

得

$$P[(X-\mu {)}^2⩾k^2{\sigma }^2]⩽\frac{E[X-\mu {]}^2}{k^2{\sigma }^2}$$

由于上面不等式右边的分子 $E[X-\mu {]}^2={\sigma }^2$ ，该不等式可写成

$$P(|X-\mu |⩾k\sigma )⩽\frac{1}{k^2}$$
证毕