AdaBoost加权分类误差率最小的基分类器问题

最新推荐文章于 2022-05-25 22:01:00 发布

guli_qi

最新推荐文章于 2022-05-25 22:01:00 发布

阅读量627

点赞数

文章标签：机器学习人工智能

本文链接：https://blog.csdn.net/guli_qi/article/details/117505966

版权

之前一直有个疑惑，AdaBoost每一轮训练一个加权数据分类误差率最小的基分类器。如果基分类器是决策树，那么无论用Gini指数还是熵，都和分类误差率是一致的，也就是Gini指数/熵达到最小时，分类误差率同时也达到最小。但如果是其它基分类器，如SVM或逻辑回归（当然一般不会选这种强分类器），在优化hinge损失或对数损失时，只是在近似最小化分类误差率（loss和accuracy并不完全一致）。

很多资料并没有提及这一点，个人觉得不太严谨，后来在ESL上找到了这一点的解释。

One can view line 2(a) of the Adaboost.M1 algorithm as a method for approximately solving the minimization in (10.11) and hence (10.10).
$G_m=\operatorname{arg}\min_G \sum_{i=1}^N w_i^{(m)}I(y_i \neq G(x_i)) \tag{10.10}$