adaboost的计算步骤

w_i^1 :第1个分类器的第 i 个样本的权重,初始样本的权重对第一个分类器都是 \frac{1}{N}

\epsilon  : 错误率,即分类错误概率的求和(预测值不等于真实值) \epsilon = \sum _{y_i\neq h_i(x)} \frac{1}{N} 

a^t :分类器的权重,通过第二部的公式,\epsilon  其取值范围为 0 到 1 , a^t 的取值范围是 -1 到 1

1. 初始化 w_i^1 = \frac{1}{N} ;

2. 在第 t 步, 选择可以最小化当前错误率 \epsilon 的弱分类器(也就是说,通过划分特征,一个个去分类,统计得到划分各个特征的错误率,然后选择错误率最低是分类器,这步主要是通过错误率 \epsilon 选择好的划分特征),并添加这个弱分类器, 以降低错误率(如果有弱分类器,那就创建一个),并计算 a^{t} , a^{t} = \frac{1}{2}log(\frac{1 - \epsilon^{t} }{\epsilon ^{t}}), 因为 w_i^t  是第i个样本的权重,全部样本相加得到第t个分类器的错误率,所以样本权重高的决定了这个分类器的权重。定义新的弱分类器为

 f^{t}(x) = a^{t}h^{t}(x)

3. 计算新的数据样本权重  w_{i}^{t+1}       , w_i^{t+1} = \left\{\begin{matrix} \frac{1}{Z}w_i^te^{-a^t}\rightarrow y_i = h^t(x_i)\\ \frac{1}{Z}w_i^te^{a^t}\rightarrow y_i \neq h^t(x_i)\end{matrix}\right.    如果真实值等于预测值,则权重减少,如果真实值不等于预测值,则权重增加(更加关注分类错误的样本,降低关注分类正确的样本)

4. 回到第2,直到收敛

5. 得到的模型为:H(x) = sign(\sum _{t=1}^{T}a^{t}h^{t}(x))

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值