该文推导参考了
https://www.cnblogs.com/kolmogorov/p/9518867.html
https://blog.csdn.net/hedan2013/article/details/76337040
0.Heoffding不等式
是独立的随机变量(不一定同分布);
;
;。
1.证明Heoffding不等式,首先得先证明
其中是一个随机变量,,,。
由于为凸函数,所以, 这个是凸函数的性质不再多述。
把,,
代入
得。
对于不等式两端取期望,
得。
又因为,
所以。
令,,
则 ,。
现在只要证明
就可以证明。
令,
可求得,, ,
由此可推出。
所以。
2.其次得了解Morkov定理,这个定理证明直接截取了其他人的
3.接下来进行Heoffding不等式证明
令,,
则,
且。
先证明
首先根据Morkov定理得,,这里,。
由于是独立的随机变量,则也是独立的随机变量,所以
。
由1中证明的结果得
当,
则
同理再证明
所以