- Fixed Weighting Scheme
- 在AdaBoost中每个分类器的权重确定且不会变
- 问题:
- 蓝色、红色五角星分别应该属于O类还是X类?
- 模型对于蓝色、红色五角星的分类准确度哪个高?
- 思考:
- 画个k近邻看看,蓝色五角星周围的样本:三个分错、两个分对。所以蓝色五角星分类准确度可信吗?
- 红色五角星周围5个样本都分对了,则可以认为这个模型对于红色五角星的判断更加可信
- 结论:
- 认为模型的权重和其输入相关(例如你问我一个问题,判断我回答靠不靠谱,要取决于你问我什么问题)
- Dynamic Weighting Scheme
- 动态权重:在AdaBoost基础上做的一个新的Boosting方法
- a(x):根据输入的值(x)的不同,会有一个特定的权重。此时就能够区分出:不同的样本进来,不同的分类器,它的发言权是会变化的
- RegionBoost
- 中心思想:一个模型的权重应该是取决于当前的输入(input-dependent)
- 好处:更加灵活
- 方法:由于在原基础上加入了a(x),所以需要另外一个模型,用来告诉你,针对于当前的输入基础分类器 的输出是否可信,使用这个信息作为权重,所以每次的权重会不同
- competency predicator:能力指标,是额外的一个模型,即模型的可信度本身又要去建模
- RegionBoost with KNN
- 问题:来一个样本进来,我怎么知道这个模型可靠不可靠?
- 解决:其实就是用K近邻的方法,找训练样本中的5个最近邻,看看此模型在这5个样本上的分类准确度(如果5个分得都对:靠谱)
- 问题:高维上使用欧氏距离不合适
- 解决:可以用曼哈顿距离等
- RegionBoost Results
- 图1
- 黑色:传统AdaBoost,收敛非常好,训练误差上界趋近于0且下降速度快
- 彩色:RegionBoost,收敛性差一些,但是模型重要的不是训练误差而是测试误差
- 图2
- 黑色:传统AdaBoost,测试误差在上面
- 彩色:RegionBoost(不同的参数),曲线在下面,测试误差相对不错
- 图1
- Review
9.5继往开来:regionBoost
最新推荐文章于 2024-08-20 13:13:08 发布