切比雪夫不等式详解

简介：个人学习分享，如有错误，欢迎批评指正。

切比雪夫不等式（Chebyshev’s Inequality） 是概率论中的一个基本不等式，广泛应用于统计学、数理统计、工程学以及其他涉及随机现象的领域。该不等式提供了一个关于随机变量偏离其期望值的概率上界，即无论随机变量的具体分布如何，只要其期望值和方差已知，就可以估计其取值落在某个区间之外的概率。

一. 切比雪夫不等式的基本概述

切比雪夫不等式由俄国数学家帕夫努季·切比雪夫 (Pafnuty Chebyshev) 提出，是概率论中的一个重要工具。它为任何具有有限期望和方差的随机变量提供了一个关于其偏离期望值的概率上界，而不需要知道其具体的概率分布。

1.1 切比雪夫不等式的直观理解

假设有一个随机变量 $X$，其期望值为 $\mu =\mathbb{E}[X]$，方差为 ${\sigma }^2=\text{Var}(X)$。切比雪夫不等式告诉我们，$X$ 偏离其期望值 $\mu$ 至少 $k$ 个标准差的概率不会超过 $\frac{1}{k^2}$，即：

$$P(|X-\mu |\ge k\sigma )\le \frac{1}{k^2}$$

这一不等式的关键在于，它不依赖于随机变量 $X$ 的具体分布形态，只要 $X$ 具有有限的期望和方差，就可以应用切比雪夫不等式。

二. 切比雪夫不等式的数学表述

切比雪夫不等式有多种形式，下面介绍其中几种常见的表达方式。

2.1 经典切比雪夫不等式

数学表述：

设 $X$ 是一个具有有限期望 $\mu =\mathbb{E}[X]$ 和有限方差 ${\sigma }^2=\text{Var}(X)$ 的随机变量，则对于任何正数 $k>0$，有：

$$P(|X-\mu |\ge k\sigma )\le \frac{1}{k^2}$$

2.2 切比雪夫不等式的广义形式

切比雪夫不等式不仅适用于标准化后的随机变量，也可以应用于任意偏离期望值的情况。

数学表述：

对于任意 $ϵ>0$，有：

$$P(|X-\mu |\ge ϵ)\le \frac{{\sigma }^2}{{ϵ}^2}$$

其中，$\mu =\mathbb{E}[X]$，${\sigma }^2=\text{Var}(X)$。

2.3 多维切比雪夫不等式

在多维空间中，切比雪夫不等式也有相应的推广，用于描述多维随机向量偏离其均值向量的概率上界-。

数学表述：

设 $\mathbf{X}$ 是一个 $d$ 维随机向量，具有均值向量 $\mu =\mathbb{E}[\mathbf{X}]$ 和协方差矩阵 $\Sigma =\text{Cov}(\mathbf{X})$。则对于任意 $ϵ>0$，有：

$$P\left((\mathbf{X}-\mu {)}^T{\Sigma }^{-1}(\mathbf{X}-\mu )\ge {ϵ}^2\right)\le \frac{d}{{ϵ}^2}$$

其中，$(\mathbf{X}-\mu {)}^T{\Sigma }^{-1}(\mathbf{X}-\mu )$ 是马氏距离的平方，用于衡量随机向量 $\mathbf{X}$ 偏离均值向量 $\mu$ 的程度。

三. 切比雪夫不等式的证明

切比雪夫不等式的证明可以通过多种方法实现，其中一种常见的方法是利用马尔可夫不等式 (Markov’s Inequality)。以下详细介绍切比雪夫不等式的经典证明过程。

3.1 马尔可夫不等式简介

马尔可夫不等式是概率论中的一个基本不等式，适用于非负随机变量。其数学表达如下：

设 $Y$ 是一个非负随机变量，且 $\mathbb{E}[Y]={\mu }_Y$。则对于任意 $a>0$，有：

$$P(Y\ge a)\le \frac{{\mu }_Y}{a}$$

3.2 使用马尔可夫不等式证明切比雪夫不等式

步骤一：定义新的随机变量

考虑随机变量 $X$ 的偏离程度 $|X-\mu |$，我们可以定义一个新的非负随机变量 $Y$ 为：

$$Y=|X-\mu |$$

显然，$Y\ge 0$。

步骤二：应用马尔可夫不等式

我们希望计算 $P(Y\ge k\sigma )=P(|X-\mu |\ge k\sigma )$。根据马尔可夫不等式，对于任意 $a>0$，有：