机器学习模型融合

模型融合方式：

· 均值法Averaging：适用于回归类算法，将每个评估器的输出做平均，类似于Bagging中回归的做法。

· 投票法Voting: 适用于分类算法，将每个评估器的输出进行投票， 类似于Bagging中分类的做法

· 堆叠法Stacking: 使用一个/多个算法在训练集上输出的某种结果作为下一个算法的训练数据。

· 改进堆叠法Blending: 一种特殊的stacking, 使用一个/多个算法在验证集上输出的某种结果作为下一个算法的训练数据。

一 投票法Voting：

1 五大类投票方法

（1）相对多数投票

只要有一个类别占比较多即可

（2）绝对多数投票

要求至少有50%或者以上的分类器都输出了同一类别，否则拒绝预测。

（3）硬投票

将不同类别的出现次数进行计数，出现次数最多的类别就是投票结果。

（4）软投票

将不同类别下的概率进行加和，概率最高的类别就是投票结果。基于概率的软投票可以衡量投票的置信程度， 某一类别下的概率越高， 说明该模型对该类别的预测结果越有信心。

（5）加权投票

加权投票是在投票过程中赋予不同分类器权重的投票，具体表现在：
· 对于硬投票，加权投票可以改变每一个分类器所拥有的票数。

· 对于软投票，加权投票可以改变每一个分类器所占的权重，令概率的普通加和变成加权求和。

2 模型融合流程（分类问题）

（1）建立基于交叉验证的benchmark、做模型选择

在模型融合前，需将可能有用的算法简单运行一次，从中调选出表现较好的算法作为融合的基础。找到单一算法可以实现的最好分数来作为benchmark，然后将融合后的模型与benchmark进行比较。

（2）构建多组分类器， 进行融合

进行投票或者平均融合后，结果反而没有单个算法好，可能是以下原因：

1. 评估器之间的学习能力/模型表现差异太大。 在融合中，一个表现很差的模型会拉低整个融合模型的上限，尤其是回归类算法，所以应当剔除差得模型。

2. 评估器在类型上过于相似。比如都是树模型、都是Boosting算法，如果平均/投票的评估器都一致，那融合模型最终得出的结果也会与单个评估器一致。

3. 对评估器进行了过于精密的调优。经过粗略调优的评估器融合能够提升模型表现， 但如果对评估器进行过于精密的调优， 可能会让融合后的算法处于严重过拟合的状态。

3 构建多样性

在模型融合中，独立性被称为多样性，评估器之间的差别越大、彼此之间就越独立，因此评估器越多样，独立性就越强。

以下方法，用来让评估器变得更多样，让评估器之间相互独立：

· 训练数据多样性： 完成多组有效的特征工程，使用不同的特征矩阵训练不同的模型。但如何找出多组有效的特征工程是难题。

· 样本多样性： 使用相同的特征矩阵， 但每次训练时抽样出不同的样本子集进行训练。

· 特征多样性： 使用相同特征矩阵， 但每次训练时抽样出不同的特征子集进行训练。

· 随机多样性/训练多样性： 使用相同的算法，但使用不同的随机数种子（会导致使用不同的特征、样本、起点）、或使用不同的损失函数、使用不同的不纯度下降量等。

· 算法多样性： 增加类型不同的算法，如集成、树、概率、线性模型相混合。

二 堆叠法Stacking

1 Stacking基本思想

Stacking集模型效果好、可解释性强、适用复杂数据

Stacking由两层组成，分别为level 0和level 1，level 0中包含一个或多个强学习器，而level 1只能包含一个学习器。在训练过程中，level 0先进行训练，level 0中的每个算法会输出相应的预测结果（验证集），将这些预测结果拼凑成新特征矩阵，再输入level 1的算法进行训练。融合模型最终输出的预测结果就是level 1的学习器输出的结果。

 在训练过程中，level 0输出的预测结果一般如下排布：

 注意：

level 0上的学习器是复杂度高、学习能力强的学习器，如继承算法。而level 1上的学习器是可解释性强、较为简单的学习器，如决策树、线性回归、逻辑回归等。

有这样的要求是因为level 0上的算法目的是找出原始数据与标签的关系、建立原始数据与标签之间的假设，因此需要强大的学习能力。level 1上的算法的职责是融合个体学习器做出的假设、并且最终输出融合模型的结果，相当于在寻找“最佳融合规则”。

2 Stacking细节问题

（1）要不要对融合的算法进行精密的调参？

个体学习器粗调，元学习器精调，如果不过拟合的话，可以两类学习器都精调

（2）个体学习器算法要怎么样选择才能最大化stacking的效果？

控制过拟合、增加多样性、注意算法整体的运算时间。

（3）个体学习器可以是复杂度较低的算法吗？元学习器可以是Xgboost这种复杂度很高的算法吗？

都可以，以模型效果为准。

（4）level 0和level 1的算法可不可以使用不同的损失函数？

可以，不同的损失函数衡量的是类似的差异，不过不同的损失对于差异的敏感性不同，尽量使用相似的损失函数。

（5）level 0和level 1的算法可不可以使用不同的评估指标？

必须使用相同的模型评估指标

3 Stacking中的交叉验证

（1）元学习器的特征矩阵的两个问题：

· 元学习器的特征矩阵中的特征一定很少

特征矩阵中的特征数就等于个体学习器的个数

·元学习器的特征矩阵中样本量也不太多

因为元学习器的特征矩阵为level 0在验证集上的输出结果，验证集的样本量有限

因此可使用交叉验证来造特征矩阵

对任意个体学习器来说，假设执行5折交叉验证，会将训练数据分成5份，并按照4份训练、1份验证的方式总共建立5个模型，训练5次，注意每个学习器都要执行一次5折交叉验证，注意是一个学习器分别执行这5次验证，并不是正常的迭代训练执行，因此不会泄露数据。

某个 个体学习器的训练过程如下图所示：

 个体学习器最终输出的列为上图中的5个预测结果拼接：

 最终，任意个体学习器的输出的预测值数量 = 样本量

数据量够大，使用过多的交叉验证折数并不会带来好处，更可能让训练时间降低。

4 Stratified K折交叉验证

Stratified K折验证会考虑标签中每个类别占比的交叉验证，每次训练时交叉验证会保证

原始标签中的类别比例 = 训练标签的类别比例 = 验证标签的类别比例。

5 特征太少的解决方案

 sklearn中StackingClassifier的参数stack_method（这个参数只用于分类问题，因为回归问题输出的只能是标签）：

正常情况下，一个个体学习器只能输出一列的预测结果，但如果把输出的结果类型更换为概率值、置信度等内容，输出结果的结构就可以从一列扩展为多列。

这个操作由参数stack_method控制，stack_method里面可以输入四种字符串：

"auto","predict_proba","decision_function","predict"

· predict_proba 是输出概率值

        对n分类，输出样本的真实标签为[0,1,2,3...n]的概率，一共n列

· decision_function 是每个样本点到分类超平面的距离，可以衡量置信度

        对n分类，输出样本的真实标签为[0,1,2,3...n]的置信度，一共n列

· predict 输出具体的预测标签

        对任何分类形式，输出算法在样本上的预测标签，一列

6 Stacking融合的训练/测试流程

*测试流程：

（1）细节问题：

· 最终输出预测结果的是元学习器，直觉上来说测试数据集或许应该被输入到元学习器当中。然而，元学习器是使用新特征矩阵进行预测的，新特征矩阵的结构与规律都与原始数据不同。所以元学习器不可能接受从原始数据中分割出来的测试数据，正确的做法应该是让测试集输入level 0的个体学习器。

· level 0 的个体学习器们在训练过程中做的是交叉验证，而交叉验证只会输出验证结果，不会留下被训练的模型。因此在level 0中没有可以用于预测的、已经训练完毕的模型。

解决方法：

训练时，在交叉验证完成后，使用全部训练数据对所有个体学习器进行训练，为测试做好准备

stacking的测试：

1.将测试集输入level 0的个体学习器，分别在每个个体学习器上预测出相应结果，拼接起来作为标签。

2.将新特征矩阵放入元学习器进行预测。

因此在stacking中，不仅要对个体学习器完成全部交叉验证，还需要在交叉验证结束后，重新使用全部训练数据来训练所有的模型。

需要注意：想要对原生代码下的模型进行融合，必须自己手写融合过程。

三 改进后的堆叠法： Blending

Blending在训练过程中，level 0输出的是验证集的结果，并没有做K折交叉验证，即level 1的特征矩阵就是验证集对应的大小，学习的东西少一些，模型抗过拟合能力越强。（数据量庞大的情况下可用）

数据量很小的情况下，stacking和blending都无法有效使用，实际中，stacking的应用比blending广泛。