本文介绍了亚高斯性及其在概率不等式中的应用，详细阐述了亚高斯分布的尾部概率条件、矩条件和矩母函数条件，并定义了亚高斯范数，通过非负性、正齐次性和三角不等式证明其为范数，展示了亚高斯范数在统一参数中的作用。
概率不等式1中介绍了Hoeffding不等式与Chernoff不等式，这两个不等式的共性是它们的上界关于 t t t的递减阶数都是指数级的，这类上界有非常好的性质，比如尾部概率迅速降低，概率集中在分布中心位置等。但这两个不等式使用条件非常受限，只能适用于Bernoulli分布或者有界的分布，这一讲我们要尝试的是寻找具有尾部概率递减阶数满足 e − c t 2 e^{-ct^2} e−ct2的所有可能的分布，注意到 e − c t 2 e^{-ct^2} e−ct2这个形式就是正态的kernel，而正态分布，比如 X ∼ N ( 0 , 1 ) X \sim N(0,1) X∼N(0,1)，也满足
P ( ∣ X ∣ ≥ t ) ≤ e − t 2 / 2 P(|X| \ge t) \le e^{-t^2/2} P(∣X∣≥t)≤e−t2/2
所以我们称满足这个条件的分布为亚高斯分布 (sub-Gaussian distribution)。
亚高斯性
亚高斯性 (sub-Gaussian property)
- 尾部概率条件： P ( ∣ X ∣ ≥ t ) ≤ 2 exp ( − t 2 / K 1 2 ) , ∀ t ≥ 0 P(|X|\ge t) \le 2\exp(-t^2/K_1^2),\forall t\ge 0 P(∣X∣≥t)≤2exp(−t2/K12),∀t≥0
- 矩条件: ∥ X ∥ L p ≤ K 2 p , ∀ p ≥ 1 \left\| X \right\|_{L^p} \le K_2\sqrt{p},\forall p \ge 1 ∥X∥Lp≤K2p,∀p≥1
- 矩母函数条件: E e λ 2 X 2 ≤ exp ( K 3 2 λ 2 ) , ∀ ∣ λ ∣ ≤ 1 / K 3 Ee^{\lambda^2 X^2} \le \exp(K_3^2\lambda^2),\forall |\lambda| \le 1/K_3 Eeλ2X2≤exp(K32λ2),∀∣λ∣≤1/K3
- 矩母函数上界: E e X 2 / K 4 2 ≤ 2 Ee^{X^2/K_4^2} \le 2 EeX2/K42≤2
- 矩母函数又一个条件: E e λ X ≤ exp ( K 5 2 λ 2 ) ,
最低0.47元/天 解锁文章
扫一扫
908
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
