Stacking实践

  Stacking简单理解就是通过模型对原数据拟合的堆叠进行建模

在进行Stacking之前，首先要安装mlxtend库，因为在sklearn库中暂时还没有支持Stacking算法的类。

mlxtend安装方法：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple mlxtend

然后通过在葡萄酒数据集上完成分类模型的训练，并评估模型的预测效果

#导入mlxtend中的堆叠分类器
from mlxtend.classifier import StackingClassifier

#导入sklearn中的红酒数据集
from sklearn.datasets import load_wine
wine = load_wine()
X = wine.data
y = wine.target

 拆分训练集与测试集

from sklearn.model_selection import train_test_split
X_train,X_test,y_train,y_test = train_test_split(X,y,train_size = 0.8,random_state=666

下一步就是建立基础分类模型，这里用的是K近邻，朴素贝叶斯和支持向量机

from sklearn.neighbors import KNeighborsClassifier
from sklearn.naive_bayes import GaussianNB
from sklearn.svm import SVC
clf1 = KNeighborsClassifier(n_neighbors=5)
clf2 = GaussianNB()
clf3 = SVC(probability=True)

导入逻辑回归模块，作为堆叠时的分类器

from sklearn.linear_model import LogisticRegression
lr = LogisticRegression()
#建立堆叠分类器
sclf = StackingClassifier(classifiers=[clf1,clf2,clf3],meta_classifier=lr,use_probas=True)
#训练Stacking分类器
sclf.fit(X_train,y_train)

评估分类器的性能

from sklearn.metrics import accuracy_score
print(accuracy_score(y_train,sclf.predict(X_train)))
print(accuracy_score(y_test,sclf.predict(X_test)))

训练基本分类器，用于与stacking的结果进行对比

clf1.fit(X_train,y_train)
clf2.fit(X_train,y_train)
clf3.fit(X_train,y_train)
print("K近邻准确率：",accuracy_score(y_train,clf1.predict(X_train)))
print("朴素贝叶斯准确率：",accuracy_score(y_train,clf2.predict(X_train)))
print("支持向量机准确率：",accuracy_score(y_train,clf3.predict(X_train)))
print("测试集K近邻准确率：",accuracy_score(y_test,clf1.predict(X_test)))
print("测试集朴素贝叶斯准确率：",accuracy_score(y_test,clf2.predict(X_test)))
print("测试集支持向量机准确率：",accuracy_score(y_test,clf3.predict(X_test)))

 运行结果：

K近邻准确率： 0.7394366197183099
朴素贝叶斯准确率： 0.9859154929577465
支持向量机准确率： 0.6619718309859155

测试集K近邻准确率： 0.8055555555555556
测试集朴素贝叶斯准确率： 0.9722222222222222
测试集支持向量机准确率： 0.8611111111111112

 

训练逻辑回归分类器

lr.fit(X_train,y_train)
print(accuracy_score(y_train,lr.predict(X_train)))
print(accuracy_score(y_test,lr.predict(X_test)))

 运行结果：

0.9647887323943662

0.9444444444444444