UA MATH567 高维统计I 概率不等式10 Bernstein不等式

最新推荐文章于 2024-06-12 20:53:44 发布

一个不愿透露姓名的孩子

最新推荐文章于 2024-06-12 20:53:44 发布

阅读量4k

点赞数 3

分类专栏： # 高维统计文章标签：机器学习概率论

本文链接：https://blog.csdn.net/weixin_44207974/article/details/109411870

版权

本文介绍了高维统计中的Bernstein不等式，包括多个版本的表述，适用于零均值独立亚指数随机变量。通过Markov不等式和亚指数性质推导证明了该不等式，并探讨了其在线性组合和样本均值情况下的应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

UA MATH567 高维统计I 概率不等式10 Bernstein不等式

我们在介绍亚高斯分布后介绍了适用于亚高斯分布的推广的Hoeffding不等式，对于亚指数分布，我们可以得到类似的不等式。因为亚指数分布相对更具有一般性，因此亚指数分布的这个概率不等式是一个适用性比较广的不等式。

Bernstein不等式版本1 假设 ${X_i\}_{i=1}^N$ 是一列零均值独立亚指数随机变量， $\forall t>0$ , $K=\max_{1\le i \le N}\left\| X_i\right\|_{\psi_1}$
$P\left( \left| \sum_{i=1}^NX_i \right| \ge t\right) \le 2 \exp \left( -c \min \left( \frac{t}{K},\frac{t^2}{\sum_{i=1}^N \left\|X_i \right\|_{\psi_1}^2} \right) \right)$

其中 $c$ 是一个常数。

证明
我们先用Markov不等式讨论 $P(\sum_{i=1}^NX_i \ge t)$ ,
$P(\sum_{i=1}^NX_i \ge t) = P(e^{\lambda\sum_{i=1}^NX_i} \ge e^{\lambda t}) \\\le e^{-\lambda t}Ee^{\lambda\sum_{i=1}^NX_i} = e^{-\lambda t}\prod_{i=1}^N Ee^{\lambda X_i}$