Adaboost
1.简述原理
2.实例
3.算法流程和公式推导
4.优点和缺点
5.问题
Adaboost
1.简述原理
(形式+弱学习器学习方法+弱学习器权值)
Adaboost就是加法模型+前向分步算法+指数损失函数+任意基学习器算法(boosting框架+指数损失函数+任意基学习器算法)。是一种基于boost思想的一种自适应的迭代式算法。他改变了训练样本的权重,关注错误分类样本的权重,加大错误分类样本的权重,减小正确分类样本的权重,再用一些基本的机器学习算法进行学习(如LR)。最后用投票表决的方法组合弱学习器,加大分类错误率低的弱学习器权重,减小分类错误率大的弱学习器权重。
2.实例
3.算法流程和公式推导
4.优点和缺点
优点:
- 具有较低的泛化误差
- 可将不同的分类算法作为弱分类器,可选C4.5,CART,SVM,贝叶斯分类器作为弱分类器
- Adaboost作为分类器时,分类精度很高,简单,
- 不用做特征筛选;
- 不容易出现过拟合
缺点:
- 对噪声、异常值非常敏感
异常样本在迭代中可能会获得较高的权重,影响最终的强学习器的预测准确性
2)迭代次数(弱分类器数目)不好确定(可使用交叉验证来确定);
3)数据不平衡导致分类精度下降;
4)每次都要重新选择当前分类器最好的切分点,训练耗时;
adaboost问题
1.为什么Adaboost对噪声敏感?
异常样本在迭代中可能会获得较高的权重,影响最终的强学习器的预测准确性
2. Adaboost的自适应在于?
最开始,所有的训练样本具有相同权重。被前一个分类器分错的样本会被用于训练下一个分类器, 即提高这个分错的样本被选中进入下一个弱分类器选中的概率, 分对的样本被选中的概率会被降低。