模型融合

一、有哪些模型融合方法

1. Voting/Averaging

sklearn.ensemble.VotingClassifier

sklearn.ensemble.VotingRegressor

在不改变模型的情况下，直接对各个不同的模型预测结果，进行投票或平均

这种融合的前提条件是模型之间相互独立，结果之间没有相关性。越相近的模型进行融合，融合效果也会越差。

可见模型之间差异越大，融合所得的结果将会更好。这种特性不会受融合方式的影响。

注意：这里所指模型之间的差异，并不是指正确率的差异，而是指模型之间相关性的差异。

对于回归问题，对各种模型的预测结果进行平均，所得到的结果能够减少过拟合，并使得边界更加平滑，单个模型的边界可能很粗糙。

在上述融合方法的基础上，一个进行改良的方式是对各个投票者分配不同的权重，以改变其对最终结果影响的大小。对于正确率低的模型给予更低的权重，而正确率高的模型给予更高的权重。