关闭

机器学习 之 Adaboost

标签: 机器学习
268人阅读 评论(0) 收藏 举报
分类:

今天深入了解了Adaboost(Adaptive boosting),自适应增强算法。

它的原理其实很简单:

  • 每一个样本都有一个权重,用样本训练出的模型都有一个误差率(错分类样本的权重和),也有一个系数(表示当前弱分类器在最终强分类器的权重)。
  • 通过多轮迭代完成对分类模型的构建。
  • 每一轮都选取误差率最低的模型作为基本分类器。
  • 在每一轮迭代中都增加误分类样本的权值,降低正确分类的样本的权值。
  • 加权后的新样本再用来训练新的基本分类器。
  • 这些基本分类器(弱分类器)组合形成最终的强分类器。

它的算法流程也是按照上述步骤来的,列一下其中每一步的计算方法:

  1. 初始化训练集的样本权重
    这里写图片描述
  2. 分类误差率计算
    这里写图片描述
  3. 训练集权值更新
    这里写图片描述
  4. 弱分类器系数计算
    这里写图片描述
  5. 弱分类器组合
    这里写图片描述

    最终分类器
    这里写图片描述

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:46909次
    • 积分:1223
    • 等级:
    • 排名:千里之外
    • 原创:75篇
    • 转载:12篇
    • 译文:0篇
    • 评论:5条
    最新评论