中心极限定理和Berry-Esseen中心极限定理

最新推荐文章于 2024-09-06 13:43:01 发布

Turbo-shengsong

最新推荐文章于 2024-09-06 13:43:01 发布

阅读量2.2k

点赞数

分类专栏：数学基础文章标签：概率论机器学习

本文链接：https://blog.csdn.net/weixin_43413559/article/details/121948239

版权

数学基础专栏收录该内容

20 篇文章 6 订阅

订阅专栏

文章目录

中心极限定理
Berry-Esseen中心极限定理
参考

中心极限定理

令随机变量 $\sim \mathcal N(0,1)$ ，对于独立同分布的随机变量(i.i.d.) $X_1, X_2, \ldots, X_n$ ，令 $S_n = \sum_{i} X_i$ ， $Z_n=\frac{S_n - \mathbb E[S_n]}{\sqrt {\text{var}[S_n]}}$ ，当 $\rightarrow \infty$ 时，有

$Z_n \rightarrow Z \\ \forall u \ \ \text{Pr}[Z_n \leq u] \rightarrow \text{Pr}[Z \leq u]$

或者可以描述为

$\forall \epsilon > 0, \exist N \in \mathcal N, \text{ for } n>N, u \in \R \\ |\text{Pr}[Z_n \leq u] - \text{Pr}[Z \leq u]| < \epsilon$

然而，在设计和分析算法时，为了性能保证，我们需要知道算法的收敛率(convergence rate)，这个时候中心极限定理就不再适用，这就需要Berry-Esseen中心极限定理来具体化误差边界(error bound)。

Berry-Esseen中心极限定理

对于独立的随机变量 $X_1, X_2, \ldots, X_n$ ，不失一般性，令 $\mathbb E[X_i] = 0$ ， $\text{var}[X_i] = \sigma^2$ ，并且 $\sum_{i=1}^n \sigma^2 = 1$ ，让 $X_1 + \ldots + X_n$ （注意到 $\mathbb E[S]=0$ ， $\text{var}[S]=1$ ），那么

$\forall u \in \R \ \ \ \ \Big | {\text{Pr}[S \leq u] - \underbrace{\text{Pr}}_{Z \sim\mathcal N(0,1)} [Z \leq u] } \Big | \leq \mathcal O(1) \cdot \beta, \ \ \ \ \text{where } \beta=\sum_{i=1}^n \mathbb E |X_i|^3$

注意1： $\mathcal O(1) \rightarrow 0.5514$ [2]
注意2：Berry-Esseen中心极限定理不要求随机变量 $X_i,\ \forall i$ 是同分布的(identical)，但是变量之间要求独立。

举例：以AMP最初的假设为例，令随机变量

$X_i=\left\{ \begin{aligned} & +\frac{1}{\sqrt N} \ \ \ \ w.p. \frac{1}{2} \\ & -\frac{1}{\sqrt N} \ \ \ \ w.p. \frac{1}{2} \\ \end{aligned} \right.$

显然， $\mathbb E[X_i] = 0$ ， $\text{var}[X_i] = \frac{1}{N}$ ，并且 $\sum_{i=1}^n \text{var}[X_i] = 1$ ，考虑三阶矩， $\mathbb E |X_i|^3=\frac{1}{N^{3/2}}$ ，因此 $\beta = \frac{1}{\sqrt N}$ ，根据Berry-Esseen中心极限定理，可以有

$\forall u \in \R \ \ \ \ \Big | {\text{Pr}[S \leq u] - \underbrace{\text{Pr}}_{Z \sim\mathcal N(0,1)} [Z \leq u] } \Big | \leq \frac{0.5514}{\sqrt n}$