零基础入门数据挖掘-心跳信号分类预测 Task5模型融合

这次的task是学习模型融合。学习材料中介绍了一些模型融合的方法，主要是针对模型结果进行处理，即在模型结果层面上的融合。在模型结果层面上的融合首先想到的就是赋予不同的模型结果权重，所以在回归问题中有简单的加权平均法，在回归问题上有硬投票的方式（其实就是将每个模型的权重视为一样，选出众数），另外在回归问题上还有一些特殊的加权方式，比如mean平均，median平均等。但人为赋予不同的模型不同的结果权重，可能会不精准，无法找到最合适的模型结果权重以及将这些结果融合在一起的方式，这其实正是模型所能解决的问题，于是有了stacking和blending的融合思想。stacking和blending其实就是在已经有了基学习器的基础上，构建如何让这些基学习器产生最大效果的模型函数。那数据从哪里来呢？在stacking层和blending层的数据集，数据特征x,数据标签y分别是什么呢？基学习器训练时的验证集成为stacking和blending层的训练集，基学习器的测试集还是stacking层和blending层的测试集。数据特征x是基学习器在验证集和测试集上产生的预测结果（基学习器在验证集上产生的预测值y1的均值会成为在stacking层的训练集的x），而y依然还是原始数据集里的y。但stacking和blending的区别就是blending是直接准备好一部分10%留出集只在留出集上继续预测，用不相交的数据训练不同的 Base Model，将它们的输出取（加权）平均。实现简单，但对训练数据利用少了。 而stacking使用k折交叉验证法进行训练，导致它的验证集是完整的原始训练集，所以stacking的效果会相对来说稳健一些，blending过拟合的可能性比较高。
另外还有一些特殊的融合方法， 比如可以把特征进行切分给不同的模型，或者将预测结果变换并作为新的特征加入原有特征中再经过模型预测结果等，都是值得尝试思考的模型融合方向