【统计强化学习】集中不等式

本系列文章主要参考UIUC姜楠老师开设的cs542

本章介绍集中不等式（Concentration inequality）。大数定理表明当独立同分布的样本很多时，其统计量会趋于其真实的统计量。而集中不等式则更定量化地描述了样本统计量与真实值之间的 bound，在算法收敛性分析过程中非常有用。这里主要介绍霍夫丁不等式（Hoeffding’s Inequality）及其应用。霍夫丁不等式能够刻画算法的输出在多大概率的意义下可以收敛到期望的结果，并通过利用不等式得到随机算法输出的结果与其期望结果的关系，从而得到想要的高概率界。

霍夫丁不等式

霍夫丁不等式的定义如下：设 $X_1,...,X_n$ 为在 $\mathbb{R}$ 上的独立随机变量，且 $X_i\in [a_i,b_i]$。令 $S_n={\sum }_{i=1}^n{X}_i$，则对所有 $t>0$，有：
$$\begin{gathered} \text{Pr}[S_n-\mathbb{E}[S_n]\ge t]\le e^{\frac{-2t^2}{{\sum }_{i=1}(b_i-a_i{)}^2}} \\ \text{Pr}[S_n-\mathbb{E}[S_n]\le -t]\le e^{\frac{-2t^2}{{\sum }_{i=1}(b_i-a_i{)}^2}} \end{gathered}$$

对于该不等式，可有以下性质：

• 两个不等式可统一表示为：
  $$\text{Pr}[|S_n-\mathbb{E}[S_n]|\ge t]\le 2e^{\frac{-2t^2}{{\sum }_{i=1}^n(b_i-a_i{)}^2}}$$
• 对于经验期望和真实期望之间的误差，有：
  $$\text{Pr}[|\frac{S_n}{n}-\mathbb{E}[\frac{S_n}{n}]|\ge t]\le 2e^{\frac{-2n^2{t}^2}{{\sum }_{i=1}^n(b_i-a_i{)}^2}}$$
• 当所有随机变量的范围都为 $[a,b]$