集成学习（中）- 投票法

集成学习（中）- 投票法

内容由Datawhale学习材料整理而成

投票法

投票法是集成学习中的常用技巧。本质是通过多个模型的集成降低方差，从而提高模型的鲁棒性。

• 对于回归问题，投票法最终的预测结果是多个回归模型预测结果的平均值。
• 对于分类问题，又分为硬投票法和软投票法：
  • 硬投票法：多个模型预测结果中出现次数最多的类别。
  • 软投票法：对各类预测结果的概率进行求和，最终选取概率之和最大的类标签。相对于硬投票，软投票法考虑到了预测概率这一额外的信息，因此可以得出比硬投票法更加准确的预测结果。

投票法要注意基模型产生的影响：

• 基模型之间的效果不能差别过大。当某个基模型相对于其他基模型效果过差时，该模型很可能成为噪声。
• 基模型之间应该有较小的同质性。例如在基模型预测效果近似的情况下，基于树模型与线性模型的投票，往往优于两个树模型或两个线性模型。

局限性：对所有模型的处理是一样的，所有模型对预测的贡献是一样的。

进阶版：bagging

Bagging不仅仅集成模型最后的预测结果，同时采用一定策略来影响基模型训练，保证基模型可以服从一定的假设。

通常我们希望各个模型之间具有较大的差异性，而在实际操作中的模型却往往是同质的，因此一个简