Stacking思想的Python3代码再现

Stacking思想的代码再现

本文源于对Stacking思想的理解，尝试使用Python3.5，在Spyder中将其思想转化为代码实现，并将本文内容安排如下：
1.Stacking原理(宏观和微观解释)
2.使用本文Stacking代码测试Iris数据集

1. Stacking原理图
   1.1.网上广为接受的原理图:(宏观)
   
   【宏观图】将训练集划分成了X_train和X_test两个集合。然后将X_train按k折交叉验证(这里k=5)来均等划分，蓝色的4折作为小的X_train’,橙色的1折作为小的X_test’,使用model1对X_train进行k=5的交叉验证，X_train’训练模型后使用,X_test’来做交叉验证的测试对模型进行调参。即：外圈循环为5个模型，内圈循环做5折交叉验证：5折中随机选定一折做小训练街，其余做测试集合，训练模型时，分别传入X_test’和整个X_test进行训练。如此重复划分和训练验证测试5次。针对每一个模型会有两个输出的label(即new feature)：5组橙色的Learn和5组绿色的Predict。对于每一个模型预测出来的5组橙色的Learn沿着纵向拼接成一个列向量即；对于每一个模型预测出来的5组绿色的Predict将其取Average记为predict’；5个模型拼接出5组橙色的new feature，每组new feature由橙色的5个Learn纵向拼接成，将5组橙色的new feature沿着横向拼接起来作为新的new_feature_X_train。5个模型拼接出5组绿色的Predict，沿着横向进行拼接作为新的new_feature_X_test。
   1.2.原理图剖析(微观)
   为了方便读着理解如下将每个模型的内圈循环操作进行放大，方便理解，后续简称【局部图】。实质上就是一个k=5的k折交叉验证。 最后将每一次训练验证的label沿着列的方向重新拼接起来作为一整列的新特征。同步的由于每一轮交叉验证中X_test都会传入模型做预测产生了5组绿色的label列，这里对5组label列取平均记为predict’。
   
   1.3.使用新的模型来训练训练集new_feature_X_train，传入标签为