霍夫丁不等式提供了一种描述独立随机变量和与其期望值之间偏差的方法，通过凸函数和矩母函数的性质，给出了一种绝对误差的界限。证明过程涉及泰勒展开和马尔可夫不等式，适用于期望为零且取值在[a, b]上的随机变量。"
79748591,2390321,机器学习面试深入解析：集成学习、GBDT与Xgboost,"['机器学习', '面试', 'GBDT', 'Xgboost', '集成学习']
形式
一组相互独立的随机变量 X 1 , X 2 , X 3 . . . . . . X n X_1,X_2,X_3......X_n X1,X2,X3......Xn，定义随机变量 X = ∑ i = 1 n X i X=\sum_{i=1}^nX_i X=∑i=1nXi，对应的 X X X的期望 E ( X ) = μ E(X)=\mu E(X)=μ，所有的 a ≤ X i ≤ b a\le X_i\le b a≤Xi≤b，于是对于任意的 ξ > 0 \xi>0 ξ>0有：
P r ( X > μ + ξ ) ≤ exp ( − 2 ξ 2 ( b − a ) 2 ) Pr(X>\mu+\xi)\le \exp(\frac{-2\xi^2}{(b-a)^2}) Pr(X>μ+ξ)≤exp((b−a)2−2ξ2)
P r ( X < μ − ξ ) ≤ exp ( − 2 ξ 2 ( b − a ) 2 ) Pr(X<\mu-\xi)\le \exp(\frac{-2\xi^2}{(b-a)^2}) Pr(X<μ−ξ)≤exp((b−a)2−2ξ2)
凸函数
从图上来看，凸函数是向下凹的，但是就是这么称呼，图上勾勒出了一个相似梯形，于是很容易得到如下关系：
t f ( x 1 ) + ( 1 − t ) f ( x 2 ) > f ( t x 1 + ( 1 − t ) x 2 ) tf(x_1)+(1-t)f(x_2)>f(tx_1+(1-t)x_2) tf(x1)+(1−t)f(x2)>f(tx1+(1−t)x2)
或者从平滑性来看，如果一个二次可导的函数，其二阶导数大于等于0，则对应的为凸函数。
关于凸函数的不等式
f ( x ) ≤ b − x b − a f ( a ) + x − a b − a f ( b ) f(x)\le \frac{b-x}{b-a}f(a)+\frac{x-a}{b-a}f(b) f(x)≤b−ab−xf(a)+b−ax−af(b)
证明如下：
图中直线上的点表示为：
y = f ( a ) + f ( b ) − f ( a ) b − a ( x − a ) y=f(a)+\frac{f(b)-f(a)}{b-a}(x-a) y=f(a)+b−af(b)−f(a)(x−a)
转化一下为：
y = ( x − a ) b − a f ( b ) + ( 1 − ( x − a ) b − a ) f ( a ) = b − x b − a f ( a ) + x − a b − a f ( b ) y=\frac{(x-a)}{b-a}f(b)+(1-\frac{(x-a)}{b-a})f(a)=\frac{b-x}{b-a}f(a)+\frac{x-a}{b-a}f(b) y
最低0.47元/天 解锁文章
扫一扫
8131
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
