《机器学习》第八章中公式8.3的推导 霍夫丁不等式

霍夫丁不等式(Hoeffding’s inequality),在概率论中,该不等式给出了随机变量的和与其期望值偏差的概率上限。

Hoeffding不等式适用于有界的随机变量。设有两两独立的一系列随机变量{\displaystyle X_{1},\dots ,X_{n}\!}。假设对所有的{\displaystyle 1\leq i\leq n}X_{i}都是几乎有界的变量,即满足:{\displaystyle \mathbb {P} (X_{i}\in [a_{i},b_{i}])=1.\!}

1 独立分布的伯努利随机变量的应用

抛硬币时一个硬币A面朝上的概率为p,B面朝上的概率则为1-p。我们抛n次硬币,那么A面朝上次数的期望值为np。那么进一步我们可以知道,A面朝上的次数不超过k次的概率能够被下面的表达式完全确定:

这里的H(n)为抛n次硬币其A面朝上的次数。

对某一ε>0,当k=(p-ε)n时,上面不等式确定的霍夫丁上界将会按照指数级变化:

于是进行替换之后也就得到了公式8.3

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值