Adaboost 原理
Adaboost 全称为 adaptive boost, 意为自适应的提升方法,作用是能够通过分布不同权重的方式将多个弱分类器提升为一个强分类器,不同的弱分类器解决不同的分类问题,多个弱分类器通过加权组合得到一个强分类器。详细公式过程如下:
- 给定 N 个样本的特征向量 ( x 1 , . . . . . )   ( x 2 . . . . . )   . . . ( x N , . . . . ) (x_1, .....) \, (x_2.....) \, ...(x_N, ....) (x1,.....)(x2.....)...(xN,....), 每一个样本都有对应的标签 y 1 ,   y 2 , . . . y N {y_1, \, y_2, ... y_N} y1,y2,...yN 与之相对。
- 初始化每个样本权重 D 1 ( i ) = ( w 1 , . . . . . w N ) D_1(i) = (w_1,.....w_N) D1(i)=(w1,.....wN) ,初始权重值都为 1 / N 1/N 1/N。
- 循环迭代 T T T 次,每一次迭代执行如下步骤:
- 找出分类误差最小的弱分类器 h j h_j h