机器学习——集成学习算法的理解

集成学习是一种把多个 个体学习器（弱学习器）组成一个强学习器的算法。可以把它当做一种优化策略。

个体学习器：实际是一种机器学习的算法训练的模型，如：决策树，支持向量机，神经网络 等。

弱学习器：准确率略高于随机猜测的个体学习器。比如在二分类问题上：男和女。随机猜测正确的概率为50%,而弱学习器的准确率 略高于50%。

多个同样算法的个体学习器 的组合 叫做同质。

如果其中还包含的算法，如同时有 决策树和 支持向量 称为 异质。

现在通常使用的是同质的 集成学习。

集成学习按照算法划分 最常见的有两种  bagging和boosting

bagging:一种简单采用投票和求平均值的方法。一般对数据集，采用随机抽样放回方法，分成T份数据。利用每份数据，对个体学习器进行训练。最后得到T个体学习器。

　　　　然后把T个学习器组合在一起：分类问题：采用投票的方式，多个学习器都对数据X进行预测，哪个答案最多，就采用哪个。

　　　　　　　　　　　　　　　　　  回归问题：采用求平均值的方式，求多个个体学习器预测结果的平均值。

boosting: 一种不断减少模型误差的方法。首先一个模型对训练数据进行预测，对预测错误的样本赋予更高的权值。然后再一次训练模型进行预测，重点关注那些 高权值预测

　　　　　错误的样本。如此循环，直到个体学习器的数量达到T个。分类问题：T个 个体学习器进行加权投票。最先训练学习器的权值低，最后的权值高。

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　  回归问题：采用加权求平均值的方法。

 

转载于:https://www.cnblogs.com/HL-blog/p/8857700.html