机器学习中的数学（下）

4、机器学习中的不等式

  上篇博文《机器学习中的数学（中）》讲述了机器学习中的概率论的问题，这篇博文主要阐述一些机器学习中常用的不等式。

  由于每个不等式的证明均比较复杂，所以本博文暂不给出证明过程。学会利用不等式即可。

4.1 霍夫丁不等式（Hoeffding’s inequality）

定义4.1：霍夫丁引理（Hoeffding’s lemma） $X$是随机变量，$\mathbb{E}[X]=0$$a\le X\le b$并且$b>a$。对任意的$t>0$，下述不等式成立

$$\mathbb{E}[e^{tX}]\le e^{\frac{t^2(b-a{)}^2}{8}}.$$

定义4.2：霍夫丁不等式（Hoeffding’s inequality） 令$X_1,\cdots ,X_m$是独立随机变量并且$X_i$区间$[a_i,b_i]$中取值（$i\in [m]$）。对任意$ϵ>0$，对$S_m={\sum }_{i=1}^m{X}_i$下述不等式成立

P [ S m − E [ S m ] ≥ ϵ ] ≤ exp ⁡ − 2 ϵ 2 ∑ i = 1 m ( b i − a i ) 2 \mathbb P[S_m-\mathbb E[S_m]\ge\epsilon]\le\exp{\frac{-2\epsilon^2}{\sum_{i=1}^m(b_i-a_i)^2}} P[Sm​−E[Sm​]≥<