task5

要打卡的时候我以为自己发布了 结果一下子按了退出没保存，这里为了赶时间简要写一点罢。

最后一节模型融合

主要有三种方式：

1. 简单加权融合:
   回归（分类概率）：算术平均融合（Arithmetic mean），几何平均融合（Geometric mean）；
   分类：投票（Voting)
   综合：排序融合(Rank averaging)，log融合
2. stacking/blending:
   构建多层模型，并利用预测结果再拟合预测。
3. boosting/bagging（在xgboost，Adaboost,GBDT中已经用到）:
   多树的提升方法

stacking 就是当用初始训练数据学习出若干个基学习器后，将这几个学习器的预测结果作为新的训练集，来学习一个新的学习器。感觉之前学过的神经网络有点关系

stacking 可能会出现过拟合，我们有2种方法

1. 次级模型尽量选择简单的线性模型
2. 利用K折交叉验证

## 定义结果的加权平均函数
def Mean_method(test_pre1,test_pre2,test_pre3):
    Mean_result = pd.concat([pd.Series(test_pre1),pd.Series(test_pre2),pd.Series(test_pre3)],axis=1).mean(axis=1)
    return Mean_result

定义结果的加权平均函数

def Median_method(test_pre1,test_pre2,test_pre3):
Median_result = pd.concat([pd.Series(test_pre1),pd.Series(test_pre2),pd.Series(test_pre3)],axis=1).median(axis=1)
return Median_result

from sklearn import linear_model

stacking 融合

def Stacking_method(train_reg1,train_reg2,train_reg3,y_train_true,test_pre1,test_pre2,test_pre3,model_L2= linear_model.LinearRegression()):
model_L2.fit(pd.concat([pd.Series(train_reg1),pd.Series(train_reg2),pd.Series(train_reg3)],axis=1).values,y_train_true)
Stacking_result = model_L2.predict(pd.concat([pd.Series(test_pre1),pd.Series(test_pre2),pd.Series(test_pre3)],axis=1).values)
return Stacking_result

等我后面补上。。。