机器学习面试必知:Adaboost算法的精确形式

  • 初始化数据加权系数 w n = 1 / N w_{n}=1/N wn=1/N
  • 对于 m = 1 , . . . , M m=1,...,M m=1,...,M
    • 使用训练数据调节一个分类器 y m ( x ) y_{m}(x) ym(x),调节的目标是最小化加权的误差函数 J m = ∑ n = 1 N w n ( m ) I ( y m ( x n ) ≠ t n ) J_{m}=\sum_{n=1}^{N}w_{n}^{(m)}I(y_{m}(x_{n})\neq t_{n}) Jm=n=1Nwn(m)I(ym(xn)̸=tn)
    • 计算 ϵ m = ∑ n = 1 N w n ( m ) I ( y m ( x n ) ≠ t n ) ∑ n = 1 N w n ( m ) \epsilon_{m}=\frac{\sum_{n=1}^{N}w_{n}^{(m)}I(y_{m}(x_{n})\neq t_{n})}{\sum_{n=1}^{N}w_{n}^{(m)}} ϵm=n=1Nwn(m)n=1Nwn(m)I(ym(xn)̸=tn) α m = l n 1 − ϵ m ϵ m \alpha_{m}=\mathrm{ln}\frac{1-\epsilon_{m}}{\epsilon_{m}} αm=lnϵm1ϵm
    • 更新权重系数 w n ( m + 1 ) = w n ( m ) e x p ( α m I ( y m ( x n ) ≠ t n ) ) w_{n}^{(m+1)}=w_{n}^{(m)}exp(\alpha_{m}I(y_{m}(x_{n})\neq t_{n})) wn(m+1)=wn(m)exp(αmI(ym(xn)̸=tn))
  • 使用最终的模型进行预测 Y M ( x ) = s i g n ( ∑ m = 1 M α m y m ( x ) ) Y_{M}(x)=sign(\sum_{m=1}^{M}\alpha_{m}y_{m}(x)) YM(x)=sign(m=1Mαmym(x))
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值