机器学习|切比雪夫不等式（3sigma原则来源）|10mins入门|概统学习笔记（十）

切比雪夫不等式

• 定义：设随机变量X有期望E(X)和方差${\sigma }^2$，则对于任给的$ϵ>0$
  P { ∣ X − E ( X ) ∣ ≥ ϵ } ≤ σ 2 ϵ 2 P\{|X-E(X)|\geq \epsilon\}\leq \frac{\sigma^2}{\epsilon^2} P{∣X−E(X)∣≥ϵ}≤ϵ2σ2​
  或
  P { ∣ X − E ( X ) ∣ < ϵ } ≥ 1 − σ 2 ϵ 2 P\{|X-E(X)|<\epsilon\}\geq1-\frac{\sigma^2}{\epsilon^2} P{∣X−E(X)∣<ϵ}≥1−ϵ2σ2​
  由切比雪夫不等式可以看出，若${\sigma }^2$越小，则事件 { ∣ X − E ( X ) ∣ < ϵ } \{|X-E(X)|<\epsilon\} {∣X−E(X)∣<ϵ}的概率越大，即随机变量X集中在期望附近的可能性越大。

  由此，可体会方差的概率意义：它刻画了随机变量取值的离散程度

• 意义

  • 当方差已知时，切比雪夫不等式给出了随机变量X与它的期望的偏差不小于$ϵ$的概率的估计式。

    如取$ϵ=3\sigma$时，有
    P { ∣ X − E ( X ) ∣ ≥ 3 σ } ≤ σ 2 9 σ 2 ≈ 0.111 P\{|X-E(X)|\geq 3\sigma\}\leq \frac{\sigma^2}{9\sigma^2}\approx0.111 P{∣X−E(X)∣≥3σ}≤9σ2σ2​≈0.111
    可见，对任给的分布，只要期望和方差${\sigma }^2$存在，则随机变量X取值偏离$E(X)$超过$3\sigma$的概率小于0.111