数据挖掘5（模型融合）

一、学习知识点概括

模型融合可以集合各种模型，从而提高模型的准确率

二、学习内容

1.投票融合：

Voting即投票机制，分为软投票和硬投票两种，其原理采用少数服从多数的思想。

hard_vote = VotingClassifier(estimators=[('xgb', clf1), ('rf', clf2), ('svc', clf3)], voting='hard')
eclf = VotingClassifier(estimators=[('xgb', clf1), ('rf', clf2), ('svc', clf3)], voting='soft', weights=[2, 1, 1])

2.简单加权融合：

w=[1/3,1/3,1/3]
pre = w[0]*pd.Series(test_pre1)+w[1]*pd.Series(test_pre2)+w[2]*pd.Series(test_pre3)

3.stacking/blending融合：

step1:先用若干基分类器对训练集进行预测（最好交叉验证），得到train_pre = [pre1,pre2,…]，对测试集训练得到test_pre = [pre1,pre2,…]
step2:用线性的分类器如lr，model = lr.fit(train_pre,ytrain),利用model预测test_pre，model.predict(test_pre)

三、学习问题与解答

模型融合的stacking方法要善于使用。

四、学习思考与总结

模型融合有时可以有效的提升模型能力。