【2021.03--集成学习（上）-Task07】投票法的原理和案例分析

本次 DataWhale 第二十三期组队学习，其开源内容的链接为：https://github.com/datawhalechina/team-learning-data-mining/tree/master/EnsembleLearning

在上一期的学习过程中，安排了部分基础模型的学习，为提升预测精度，可以进行模型集成，常见的思想有bagging、boosting和stacking。这一次任务先学习结合策略中的投票法。

投票法是一种遵循少数服从多数原则的集成学习模型，通过多个模型的集成降低方差，从而提高模型的鲁棒性。在理想情况下，投票法的预测效果应当优于任何一个基模型的预测效果。一般来说，对于回归问题采用均值，分类问题是少数服从多数。

投票法有软投票和硬投票之分，小例子可以参考教程。相对于硬投票，软投票法考虑到了预测概率这一额外的信息，因此可以得出比硬投票法更加准确的预测结果。下面是投票法的案例分析。

# 创建100个样本，20个特征的数据集
from sklearn.datasets import make_classification

# 定义数据集
X, y = make_classification(n_samples = 1000, n_features = 20, n_informative = 15, n_redundant = 5, random_state = 2)

X.shape, y.shape

((1000, 20), (1000,))

from sklearn.neighbors import KNeighborsClassifier
from sklearn.ensemble import VotingClassifier

# 创建一个投票集成模型
def get_voting():
    # 定义基模型
    models = list()
    models.append(('knn1', KNeighborsClassifier(n_neighbors=1)))
    models.append(('knn3', KNeighborsClassifier(n_neighbors=3)))
    models.append(('knn5', KNeighborsClassifier(n_neighbors=5)))
    models.append(('knn7', KNeighborsClassifier(n_neighbors=7)))
    models.append(('knn9', KNeighborsClassifier(n_neighbors=9)))
    
    ensemble = VotingClassifier(estimators=models, voting='hard')
    return ensemble

# 创建一个模型列表来评估投票带来的提升，包含有每个独立版本和硬投票模型。
def get_models():
    models = dict()
    models['knn1'] = KNeighborsClassifier(n_neighbors=1)
    models['knn3'] = KNeighborsClassifier(n_neighbors=3)
    models['knn5'] = KNeighborsClassifier(n_neighbors=5)
    models['knn7'] = KNeighborsClassifier(n_neighbors=7)
    models['knn9'] = KNeighborsClassifier(n_neighbors=9)
    models['hard_voting'] = get_voting()
    return models

from sklearn.model_selection import RepeatedStratifiedKFold, cross_val_score

# 10层交叉，三次重复的模型实例
def evaluate_model(model, X, y):
    cv = RepeatedStratifiedKFold(n_splits=10, n_repeats=3, random_state=1)
    scores = cross_val_score(model, X, y, scoring='accuracy', cv=cv, n_jobs=-1, error_score='raise')
    return scores

import numpy as np
# 获得估计模型
models = get_models()

results, names = list(), list()

for name, model, in models.items():
    scores = evaluate_model(model, X, y)
    results.append(scores)
    names.append(name)
    print('>%s %.3f (%.3f)' % (name, np.mean(scores), np.std(scores)))

>knn1 0.873 (0.030)
>knn3 0.889 (0.038)
>knn5 0.895 (0.031)
>knn7 0.899 (0.035)
>knn9 0.900 (0.033)
>hard_voting 0.902 (0.034)

从结果可以看出，硬投票的模型拥有更稳定的准确性。