9.5继往开来：regionBoost

• Fixed Weighting Scheme

  

  • 在AdaBoost中每个分类器的权重确定且不会变
  • 问题：
    • 蓝色、红色五角星分别应该属于O类还是X类？
    • 模型对于蓝色、红色五角星的分类准确度哪个高？
  • 思考：
    • 画个k近邻看看，蓝色五角星周围的样本：三个分错、两个分对。所以蓝色五角星分类准确度可信吗？
    • 红色五角星周围5个样本都分对了，则可以认为这个模型对于红色五角星的判断更加可信
  • 结论：
    • 认为模型的权重和其输入相关（例如你问我一个问题，判断我回答靠不靠谱，要取决于你问我什么问题）
• Dynamic Weighting Scheme

  

  • 动态权重：在AdaBoost基础上做的一个新的Boosting方法
  • a(x)：根据输入的值（x）的不同，会有一个特定的权重。此时就能够区分出：不同的样本进来，不同的分类器，它的发言权是会变化的
• RegionBoost

  

  

  • 中心思想：一个模型的权重应该是取决于当前的输入（input-dependent）
  • 好处：更加灵活
  • 方法：由于在原基础上加入了a（x），所以需要另外一个模型，用来告诉你，针对于当前的输入基础分类器 的输出是否可信，使用这个信息作为权重，所以每次的权重会不同
  • competency predicator：能力指标，是额外的一个模型，即模型的可信度本身又要去建模
• RegionBoost with KNN

  

  • 问题：来一个样本进来，我怎么知道这个模型可靠不可靠？
  • 解决：其实就是用K近邻的方法，找训练样本中的5个最近邻，看看此模型在这5个样本上的分类准确度（如果5个分得都对：靠谱）
    • 问题：高维上使用欧氏距离不合适
    • 解决：可以用曼哈顿距离等
• RegionBoost Results

  

  

  • 图1
    • 黑色：传统AdaBoost，收敛非常好，训练误差上界趋近于0且下降速度快
    • 彩色：RegionBoost，收敛性差一些，但是模型重要的不是训练误差而是测试误差
  • 图2
    • 黑色：传统AdaBoost，测试误差在上面
    • 彩色：RegionBoost（不同的参数），曲线在下面，测试误差相对不错
• Review