漫步数理统计十四——重要的不等式

本篇博文给出涉及期望的三个不等式的证明，之后我们会经常遇到这些不等式，首先介绍一个有用的结论。

$\textbf{定理1：}$令$X$表示随机变量，$m$是一个正整数，假设$E[X^m]$存在，如果$k$是一个正数且$k\leq m$，那么$E[X^k]$存在。

$\textbf{证明：}$我们证明连续情况；离散情况与之类似，只需要将积分符号换成求和符号即可，令$f(x)$是$X$的pdf，那么

$$\begin{align*} \int_{-\infty}^{\infty}|x|^kf(x)dx &=\int_{|x|\leq 1}|x|^kf(x)dx+\int_{|x|>1}|x|^kf(x)dx\\ &\leq\int_{|x|\leq 1}f(x)dx+\int_{|x|>1}|x|^mf(x)dx\\ &\leq\int_{-\infty}^{\infty}f(x)dx+\int_{-\infty}^{\infty}|x|^mf(x)dx\\ &\leq1+E[|X|^m]<\infty \end{align*}$$

得证。

$\textbf{定理2：}$(马尔科夫不等式)令$u(X)$是随机变量$X$的非负函数，如果$E[u(X)]$存在，那么对于每个正常数$c$，

$$P[u(X)\geq c]\leq\frac{E[u(X)]}{c}$$

$\textbf{证明：}$这里给出连续情况的证明；对于离散情况，只需要将积分符号改成求和符号即可。令$A=\{x:u(x)\geq c\}$，$f(x)$表示$X$的pdf，那么

$$E[u(X)]=\int_{-\infty}^{\infty}u(x)f(x)dx=\int_{A}u(x)f(x)dx+\int_{A^c}u(x)f(x)dx$$

上式最右边的每个被积函数都是正的，所以左边大于或等于右边任何一项，特别地

$$E[u(X)]\geq\int_{A}u(x)f(x)dx$$

然而，如果$x\in A$，那么$u(x)\geq c$，所以我们用$c$代替上式右边$u(x)$的话，不等式不会增加，即

$$E[u(X)]\geq c\int_{A}f(x)dx$$

因为

$$\int_Af(x)dx=P(X\in A)=P[u(X)\geq c]$$

从而得到

$$E[u(X)]\geq cP[u(X)\geq c]$$

得证。

前面这个不等式是切比雪夫不等式的推广，具体如下定理所述。

$\textbf{定理3：}$(切比雪夫不等式)$X$是一个随机变量且概率分布的方差$sigma^2$是有限的(根据定理1，这意味着均值$\mu=E(X)$存在)，那么对于任意$k>0$，

$$P(|X-\mu|\geq k\sigma)\leq\frac{1}{k^2}$$

或者等价的

$$P(|X-\mu|<k\sigma)\geq 1-\frac{1}{k^2}$$

$\textbf{证明：}$利用定理2中取$u(X)=(X-\mu)^2,c=k^2\sigma^2$，那么我们有

$$P[(X-\mu)^2\geq k^2\sigma^2]\leq\frac{E[(X-\mu)^2]}{k^2\sigma^2}$$

因为这个不等式右边的分子是$\sigma^2$，所以可以写成

$$P(|X-\mu|\geq k\sigma)\leq\frac{1}{k^2}$$

得证。当然这里的$k$是大于1的整数。

切比雪夫不等式有一个简洁的形式，可以取$k\sigma=\epsilon$，其中$\epsilon>0$，这是不等式就变成

$$P(|X-\mu|\geq\epsilon)\leq\frac{\sigma^2}{\epsilon^2},for\ all\ \epsilon>0$$

因此$1/k^2$是概率$P(|X-\mu|\geq k\sigma)$的上界，接下来我们给出一些实例中的上界与概率的准确值。

$\textbf{例1：}$令$X$的pdf为

$$f(x)= \begin{cases} \frac{1}{2\sqrt{3}}&-\sqrt{3}<x<\sqrt{3}\\ 0&elsewhere \end{cases}$$

这里$\mu=0,\sigma^2=1$，如果$k=\frac{3}{2}$，我们有准确的概率值

$$P(|X-\mu|\geq k\sigma)=P(|X|\geq\frac{3}{2})=1-\int_{-3/2}^{3/2}\frac{1}{2\sqrt{3}}dx=1-\frac{\sqrt{3}}{2}$$

根据切比雪夫不等式，这个概率上界为$1/k^2=\frac{4}{9}$，因为近似$1-\sqrt{3}/2=0.134$，这是准确值远小于上界$4/9$。如果取$k=2$，我们得到的准确值是$P(|X-\mu|\geq2\sigma)=P(|X|\geq 2)=0$，依然远小于上界$1/k^2=1/4$。

在上面的例子中，概率$P(|X-\mu|\geq k\sigma)$与上界$1/k^2$差别较大。然而，如果我们希望不等式对所有$k>0$成立且对所有有有限方差的随机变量成立，那么就不可能再提高了，如下所示。

$\textbf{例2：}$$X$是离散型随机变量，在点$x=-1,0,1$处概率分别为$\frac{1}{8},\frac{6}{8},\frac{1}{8}$。这里$\mu=0,\sigma^2=\frac{1}{4}$。如果$k=2$，那么$1/k^2=\frac{1}{4},P(|X-\mu|\geq k\sigma)=P(|X|\geq 1)$，即$P(|X-\mu|\geq k\sigma)$等于上界$1/k^2=1/4$，因此在没有给出$X$分布的进一步假设的情况下，不等式无法提高了。

$\textbf{定义1：}$定义在区间$(a,b),-\infty\leq a<b\leq\infty$上的函数$\phi$，如果对于$(a,b)$上的所有$x,y$以及所有的$0<\gamma<1$，不等式

$$\phi[\gamma x+(1-\gamma)y]\leq\gamma\phi(x)+(1-\gamma)\phi(y)$$

成立，那么函数$\phi(x)$称为凸函数，如果上面的不等式是严格的，那么称$\phi$是严格凸函数。

在一阶与二阶导存在的情况下，下面的不等式成立。

$\textbf{定理4：}$如果$\phi$在$(a,b)$上可微，那么

1. 对于所有的$a<x<y<b$，当且仅当$\phi^{'}(x)\leq\phi^{''}(y)$时，$\phi$ 是凸的。
2. 对于所有的$a<x<y<b$，当且仅当$\phi^{'}(x)<\phi^{''}(y)$时，$\phi$是严格凸的。

如果$\phi$在$(a,b)$上二阶可微，那么

1. 对于所有的$a<x<y<b$，当且仅当$\phi^{''}(x)\geq 0$时，$\phi$ 是凸的。
2. 对于所有的$a<x<y<b$，当且仅当$\phi^{''}(y)>0$时，$\phi$是严格凸的。

当然这个定理的第二部分可以从第一部分直接导出，而第一部分直观上也比较好理解，具体证明可以参考一些分析的书。下面给出一个非常有用的关于凸的不等式。

$\textbf{定理5：}$(詹森不等式)如果$\phi$在开集$I$上是凸的，$X$是随机变量，其支撑含于$I$中且有有限期望，那么

$$\phi[E(X)]\leq E[\phi(X)]$$

如果$\phi$严格凸，那么不等式是严格的，除非$X$是一个常随机变量。

$\textbf{证明：}$假设$\phi$有二阶导，$\phi(x)$在$u=E[X]$处进行泰勒级数展开：

$$\phi(x)=\phi(\mu)+\phi^{'}(\mu)(x-mu)+\frac{\phi^{''}(zeta)(x-\mu)^2}{2}$$

其中$\zeta$位于$x,\mu$之间。因为上式的最后一项是正的，所以我们有

$$\phi(x)\geq\phi(\mu)+\phi^{'}(\mu)(x-\mu)$$

两边分别取期望即可得到所要的结论。假设$X$不是常量，那么如果对于所有的$x\in(a,b),\phi^{''}(x)>0$，则不等式是严格凸的。

$\textbf{例3：}$$X$是非退化随机变量，均值为$\mu$且有有限的二阶矩，那么$\mu<E(X^2)$。这个结论可以利用詹森不等式得到，需要用到严格凸函数$\phi(t)=t^2$。

$\textbf{例4：}$(调和与几何平均)令$\{a_1,\ldots,a_n\}$ 是正数集合，对每个数$a_1,\ldots,a_n$分配权重$1/n$就得到一个随机变量$X$的分布，那么$X$的均值就是算数平均(AM)，$E(X)=n^{-1}\Sigma_{i=1}^na_i$，又因为$-\log x$ 是凸函数，所以利用詹森不等式可得

$$-\log\left(\frac{1}{n}\sum_{i=1}^na_i\right)\leq E(-\log X)=-\frac{1}{n}\sum_{i=1}^n\log a_i=-\log(a_1a_2\ldots a_n)^{1/n}$$

或者等价的

$$\log\left(\frac{1}{n}\sum_{i=1}^na_i\right)\geq \log(a_1a_2\ldots a_n)^{1/n}$$

因此

$$(a_1a_2\ldots a_n)^{1/n}\leq \frac{1}{n}\sum_{i=1}^na_i$$

不等式左边称为几何平均(GM)，所有上面的不等式等价于对任意有限正数集，$GM\leq AM$。

现在用$1/a_i$代替$a_i$，(也是正值)，那么我们就得到

$$\frac{1}{n}\sum_{i=1}^n\frac{1}{a_i}\geq\left(\frac{1}{a_1}\frac{1}{a_2}\cdots\frac{1}{a_n}\right)^{1/n}$$

或者等价的

$$\frac{1}{\frac{1}{n}\Sigma_{i=1}^n\frac{1}{a_i}}\leq(a_1a_2\ldots a_n)^{1/n}$$

不等式的左边称为调和级数(HM)，从而我们得出对任意正数集合

$$HM\leq GM\leq AM$$