DataWhale 组队学习数据挖掘实践 任务六

模型融合方式任意，并结合Task5给出你的最优结果。

例如Stacking融合，用你目前评分最高的模型作为基准模型，和其他模型进行stacking融合，得到最终模型及评分结果。

模型融合没学过，先跟着网上的教程做一遍，待花时间再好好研究一下。。。。

导入各个模型

from sklearn import svm
import xgboost as xgb
from sklearn.ensemble import RandomForestClassifier

做一个列表，将各个模型及参数放进去

clfs = [LogisticRegression(C=0.1,max_iter=100),
        xgb.XGBClassifier(max_depth=6,n_estimators=100,num_round = 5),
        RandomForestClassifier(n_estimators=100,max_depth=6,oob_score=True),
        GradientBoostingClassifier(learning_rate=0.3,max_depth=6,n_estimators=100)]

创建n_folds

from sklearn.cross_validation import StratifiedKFold
n_folds = 5
skf = list(StratifiedKFold(y, n_folds))

创建零矩阵

dataset_blend_train = np.zeros((X.shape[0], len(clfs)))
dataset_blend_test = np.zeros((X_test.shape[0], len(clfs)))

待完成。。。。。