心跳信号预测--Task5

模型融合

1.简单加权融合:

属于结果层面的融合。在做结果融合的时候。有一个很重要的条件是模型结果的得分要比较近似但结果的差异要比较大，这样的结果融合往往有比较好的效果提升。

（1）回归（分类概率）：

• 对结果简单加权平均: 0.5* result_1+0.5* result_2
  还有一些特殊的形式：mean平均，median平均。

（2）分类：投票（Voting)

• Hard Voting Classifier（硬投票）：根据少数服从多数来定最终结果，投票最多的类别是获胜者。
• Soft Voting Classifier（软投票）：考虑了预测类别的可能性。将所有模型预测样本为某一类别的概率的平均值作为标准，概率最高的对应的类型为最终的预测结果。

（3）综合：排序融合(Rank averaging)，log融合

2.stacking/blending:

• 构建多层模型，并利用预测结果再拟合预测。

（1） stacking是一种分层模型集成框架。

• 对于第二层Stacking的模型不宜选取的过于复杂，这样会导致模型在训练集上过拟合，从而使得在测试集上并不能达到很好的效果。
• 此外，数据量小时也容易导致过拟合，不建议使用。

（2）Blending：拆分训练集，训练不同的base model，然后分别预测test，并加权融合

3.boosting/bagging:

多树的提升方法

• Boosting：弱分类器提升为强分类器，并做模型的加权融合；减少误差，但容易过拟合

• Bagging：对训练集随机采样，训练不同的base model，然后投票；可以减少方差，提升模型的稳定性（随机森林的原理）

思考：

模型融合考虑了不同预测结果的异质性，融合了数据、特征、模型、参数等方面的多样性。模型融合对于结果提升有很大作用，尤其是基于模型层面的融合。但特征工程依然是结果提升的第一生产力。