Kaggle Ensembling Guide 学习笔记

原文链接
gitHub链接

1.Voting ensembles.

投票集成 低相关度的模型预测
适用问题 只要损坏不是完全不可预测的（有50%的可能性发生），那么信号就可以修复。
重点：模型相关度要低

1.加权投票——分类，回归

好的模型统计更多的次数 理由：下级模型否决最佳模型的唯一方法是它们集体同意一个替代结果。这种集成方式只能在最佳模型上改善一点点，因为不是完全民主的投票

适用问题：多个模型中有一个模型的性能明显优于其他模型

2.平均投票——分类，回归

一般来说对单个模型多次取平均，可以消除单模型过拟合，单模型可能受噪声点影响导致分界面和粗糙，而多次平均会使得分界面变得平滑
一般来说，几何平均优于算术平均

适用问题：模型在对分类为正的结果自信，但对分类为负不太自信，这种方式虽然有可能不工作但也不会带来更坏的结果

3.rank平均投票——分类

对多个不同的模型取rank平均方式，将不同分类器结果排序，计算样本在不同分类器下的排名平均，最后做归一化(如最大最小)到(0-1)，以这个值为最终的预测值。
对新样本进行预测时，根据不同模型预测的值在之前存储的相近值的历史排名表示。

适用问题&