k折交叉验证,stacking和blending模型融合,xgboost可自定损失函数,但是要求出一阶,二阶导数,解决类别不平衡的问题,过采样或者代价敏感函数

K折交叉验证

一般情况将K折交叉验证用于模型调优，找到使得模型泛化性能最优的超参值。找到最优参数后，在全部训练集上重新训练模型，并使用独立测试集对模型性能做出最终评价。

如果训练数据集相对较小，则增大k值。

增大k值，在每次迭代过程中将会有更多的数据用于模型训练，能够得到最小偏差，同时算法时间延长。且训练块间高度相似，导致评价结果方差较高。

如果训练集相对较大，则减小k值。

减小k值，降低模型在不同的数据块上进行重复拟合的性能评估的计算成本，在平均性能的基础上获得模型的准确评估。

K折交叉验证的一个特例：

 留一（LOO）交叉验证法：将数据子集划分的数量等于样本数（k=n），每次只有一个样本用于测试，数据集非常小时，建议用此方法。

blend ensemble and  stack ensemble

本质都是分两层,第二层用第一层的预测值作为特征再进行训练

Blending与stacking相比优点在于：

1.比stacking简单（因为不用进行k次的交叉验证来获得新特征）

2.由于两层使用的数据不同，所以避免了一个信息泄露的问题。

3.在团队建模过程中，不需要给队友分享自己的随机种子。

而缺点在于：

1.由于blending对数据集这种划分形式，第二层的数据量比较少。

2.由于第二层数据量比较少所以可能会过拟合。

3.stacking使用多次的CV会比较稳健

对于实践中的结果而言，stacking和blending的效果是差不多的，所以使用哪种方法都没什么所谓，完全取决于个人爱好。

 

blend ensemble

比如70%的数据作为新的训练集，剩下30%的数据作为测试集。

第一层我们在这70%的数据上训练多个模型，然后去预测那30%数据的label。

在第二层里，我们就直接用这30%数据在第一层预测的结果做为新特征继续训练即可。

stack ensemble(两层都用到的所有训练数据)

第一层:全部训练数据,多个模型k折交叉验证

第二层:对验证集上的预测值作为特征,进行训练