关键词:Bagging算法,AdaBoost算法
AdaBoost算法是基于Bagging算法(装袋算法)的,Bagging是Bootstrap Aggregating的缩写:简单来说,就是通过使用boostrap抽样得到若干不同的训练集,以这些训练集分别建立模型,即得到一系列基分类器,这些分类器来源于不同的样本,他们对同一测试集的预测效果不一。因此,装袋算法随后对基分类器的一系列预测结果进行投票(分类)或平均(回归),从而得到每一个测试集样本的最终预测结果,这一集成结果往往是准确而稳定的。
比如现有基分类器1至10,它们对某样本的预测结果分别为类1、2、1、1、1、1、2、1、1、2,而Bagging给出的的结果是1,因为多数分类器投给了1
而AdaBoost就是给每个分类器加个权值,即投票人说话的分量~实时调节权重正是AdaBoost算法的优势所在