霍夫丁不等式(Hoeffding’s inequality),在概率论中,该不等式给出了随机变量的和与其期望值偏差的概率上限。
Hoeffding不等式适用于有界的随机变量。设有两两独立的一系列随机变量。假设对所有的,都是几乎有界的变量,即满足:
1 独立分布的伯努利随机变量的应用
抛硬币时一个硬币A面朝上的概率为p,B面朝上的概率则为1-p。我们抛n次硬币,那么A面朝上次数的期望值为np。那么进一步我们可以知道,A面朝上的次数不超过k次的概率能够被下面的表达式完全确定:
这里的H(n)为抛n次硬币其A面朝上的次数。
对某一ε>0,当k=(p-ε)n时,上面不等式确定的霍夫丁上界将会按照指数级变化:
于是进行替换之后也就得到了公式8.3