【集成学习（中）】My Task07_投票法的原理和案例分析笔记

最新推荐文章于 2024-04-27 06:28:45 发布

数据闲逛人

最新推荐文章于 2024-04-27 06:28:45 发布

阅读量219

点赞数

分类专栏： # 【集成学习】

本文链接：https://blog.csdn.net/jcjic/article/details/115706230

版权

【集成学习】专栏收录该内容

14 篇文章 0 订阅

订阅专栏

投票法的思路

一个零件发送电信号偶尔会出错,但是可以通过重复多次发送数据,以少数服从多数据的方法来确定正确的传输数据,毕竟出错的概率一般比较低
拓展开来:

回归模型: 投票法最终的预测结果,其他回归模型预测结果的平均值
分类模型:
- 硬投票法的预测结果是频数最多,即多个模型预测中出现次数最多的类别
- 软投票对各类预测结果的概率进行求和,最终选取概率之和最大的类标签 (这里的各类应该是指多个模型–>得到多个模型对不同类型的预测概率)

投票法的原理分析

投票法是一种遵循少数服从多数原则的集成学习模型，通过多个模型的集成降低方差，从而提高模型的鲁棒性。在理想情况下，投票法的预测效果应当优于任何一个基模型的预测效果。

投票法在回归模型与分类模型上均可使用：

回归投票法：预测结果是所有模型预测结果的平均值。
分类投票法：预测结果是所有模型种出现最多的预测结果。

分类投票法又可以被划分为硬投票与软投票：

硬投票：预测结果是所有投票结果最多出现的类。
软投票：预测结果是所有投票结果中概率加和最大的类。

在投票法中，我们还需要考虑到不同的基模型可能产生的影响。理论上，基模型可以是任何已被训练好的模型。但在实际应用上，想要投票法产生较好的结果，需要满足两个条件：

基模型之间的效果不能差别过大。当某个基模型相对于其他基模型效果过差时，该模型很可能成为噪声。
基模型之间应该有较小的同质性。例如在基模型预测效果近似的情况下，基于树模型与线性模型的投票，往往优于两个树模型或两个线性模型。

当投票合集中使用的模型能预测出清晰的类别标签时，适合使用硬投票。当投票集合中使用的模型能预测类别的概率时，适合使用软投票。软投票同样可以用于那些本身并不预测类成员概率的模型，只要他们可以输出类似于概率的预测分数值（例如支持向量机、k-最近邻和决策树）。

投票法的局限性在于，**它对所有模型的处理是一样的，这意味着所有模型对预测的贡献是一样的。**如果一些模型在某些情况下很好，而在其他情况下很差，这是使用投票法时需要考虑到的一个问题。

投票法的案例分析(基于sklearn,介绍pipe管道的使用以及voting的使用)

Sklearn中提供了 VotingRegressor 与 VotingClassifier 两个投票方法。这两种模型的操作方式相同，并采用相同的参数。使用模型需要提供一个模型列表，列表中每个模型采用Tuple的结构表示，第一个元素代表名称，第二个元素代表模型，需要保证每个模型必须拥有唯一的名称。

from sklearn.linear_model import LogisticRegression
from sklearn.svm import SVC
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import make_pipeline
from sklearn.ensemble import VotingClassifier
models = [('lr',LogisticRegression()),('svm',SVC())]
ensemble = VotingClassifier(estimators=models)

有时一些预处理操作,我们可以定义Pipeline完成模型预处理工作:m–

models = [('lr',LogisticRegression()),('svm',make_pipeline(StandardScaler(),SVC()))]
ensemble = VotingClassifier(estimators=models)

模型还提供voting参数让我们选择软投票或者硬投票:

models = [('lr',LogisticRegression()),('svm',SVC())]
ensemble = VotingClassifier(estimators=models,voting='soft')

下面我们使用一个完整的例子演示投票法的使用:
首先我们创建一个1000个样本,20个特征的随机数据集

# test classification dataset
from sklearn.datasets import make_classification
# define dataset
X,y = make_classification(n_samples=1000,n_features=20,n_informative=15,n_redundant=5,random_state=2)
# summarize the dataset
print(X.shape,y.shape)

(1000, 20) (1000,)

我们使用多个KNN模型演示投票法,其中每个模型采用不同的邻居值K参数

from sklearn.neighbors import KNeighborsClassifier # K近邻算法(
from sklearn.ensemble import VotingClassifier # 投票法
# get avoting ensemble of models 
def get_voting():
    # define the base models 
    models = list()
    models.append(('knn1',KNeighborsClassifier(n_neighbors=1)))
    models.append(('knn3',KNeighborsClassifier(n_neighbors=3)))
    models.append(('knn5',KNeighborsClassifier(n_neighbors=5)))
    models.append(('knn7',KNeighborsClassifier(n_neighbors=7)))
    models.append(('knn9',KNeighborsClassifier(n_neighbors=9)))
    # define the voting ensemble
    ensemble = VotingClassifier(estimators=models,voting='hard')
    return ensemble
get_voting()

VotingClassifier(estimators=[('knn1', KNeighborsClassifier(n_neighbors=1)),
                             ('knn3', KNeighborsClassifier(n_neighbors=3)),
                             ('knn5', KNeighborsClassifier()),
                             ('knn7', KNeighborsClassifier(n_neighbors=7)),
                             ('knn9', KNeighborsClassifier(n_neighbors=9))])

然后，我们可以创建一个模型列表来评估投票带来的提升，包括KNN模型配置的每个独立版本和硬投票模型。下面的get_models()函数可以为我们创建模型列表进行评估。

# get a list of models to evaluate
def get_models():
    models = dict()
    models['knn1'] = KNeighborsClassifier(n_neighbors=1)
    models['knn3'] = KNeighborsClassifier(n_neighbors=3)
    models['knn5'] = KNeighborsClassifier(n_neighbors=5)
    models['knn7'] = KNeighborsClassifier(n_neighbors=7)
    models['knn9'] = KNeighborsClassifier(n_neighbors=9)
    models['hard_voting'] = get_voting()
    return models
get_models()

{'knn1': KNeighborsClassifier(n_neighbors=1),
 'knn3': KNeighborsClassifier(n_neighbors=3),
 'knn5': KNeighborsClassifier(),
 'knn7': KNeighborsClassifier(n_neighbors=7),
 'knn9': KNeighborsClassifier(n_neighbors=9),
 'hard_voting': VotingClassifier(estimators=[('knn1', KNeighborsClassifier(n_neighbors=1)),
                              ('knn3', KNeighborsClassifier(n_neighbors=3)),
                              ('knn5', KNeighborsClassifier()),
                              ('knn7', KNeighborsClassifier(n_neighbors=7)),
                              ('knn9', KNeighborsClassifier(n_neighbors=9))])}

下面的evaluate_model()函数接手一个模型实例,并以分层10倍交叉验证三次重复的分数列表的形式返回

from sklearn import datasets
from sklearn.model_selection import RepeatedStratifiedKFold# 交叉验证
from sklearn.model_selection import train_test_split,cross_val_score #划分数据 交叉验证
# evaluate a give model using cross-validation
def evaluate_model(model,X,y):
    cv = RepeatedStratifiedKFold(n_splits=10,n_repeats=3,random_state=1)
    scores = cross_val_score(model,X,y,scoring = 'accuracy',cv=cv,n_jobs = -1,error_score='raise')
    return scores

然后,我们可以报告每个算法的平均性能,还可以创建一个箱形图和须状图来比价每个算法的精度分数分布

from sklearn.neighbors import KNeighborsClassifier
from matplotlib import pyplot

scores

array([0.9 , 0.88, 0.89, 0.87, 0.95, 0.93, 0.95, 0.84, 0.92, 0.9 , 0.91,
       0.95, 0.91, 0.94, 0.93, 0.82, 0.86, 0.93, 0.88, 0.91, 0.9 , 0.9 ,
       0.92, 0.95, 0.85, 0.87, 0.92, 0.91, 0.86, 0.92])

# define dataset
#X, y = get_dataset()
# get the models to evaluate
models = get_models()
# evaluate the models and store results
results, names = list(), list()
for name, model in models.items():
    scores = evaluate_model(model, X, y)
    results.append(scores)
    names.append(name)
    print('>%s %.3f (%.3f)' % (name, np.mean(scores), np.std(scores)))
# plot model perfabsormance for comparison
pyplot.boxplot(results, labels=names, showmeans=True)
pyplot.show()

>knn1 0.873 (0.030)
>knn3 0.889 (0.038)
>knn5 0.895 (0.031)
>knn7 0.899 (0.035)
>knn9 0.900 (0.033)
>hard_voting 0.902 (0.034)

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-IOduXjgs-1618397403867)(output_19_1.png)]

总结

sklearn.model_selection.RepeatedKFold¶的使用
在这里插入图片描述
像上面的例子中

所以

这里是因为参数 n_splits,n_repeats的设置,将数据集弄了30份出来,然后结果取平均数,这样的效果会更好,这就是交叉验证说法

import numpy as np
from sklearn.model_selection import RepeatedKFold
X = np.array([[1, 2], [3, 4], [1, 2], [3, 4]])
y = np.array([0, 0, 1, 1])
rkf = RepeatedKFold(n_splits=4, n_repeats=1, random_state=2652124)
for train_index, test_index in rkf.split(X):
    print("TRAIN:", train_index, "TEST:", test_index)
    X_train, X_test = X[train_index], X[test_index]
    y_train, y_test = y[train_index], y[test_index]

TRAIN: [0 1 2] TEST: [3]
TRAIN: [0 1 3] TEST: [2]
TRAIN: [1 2 3] TEST: [0]
TRAIN: [0 2 3] TEST: [1]

像上面的n_split=4,n_repeats=1的结果,可以清晰看出所划分后的数据,注意上面输出的是索引
下面看看n_split=4,n_repeats=2的结果
在这里插入图片描述
将n_splits设置大于X数据集的行数时会报错

最后小总结一下,对上面的将代码改一下,验证一下自己想法,多实践就对了,加深自己的理解,上面的总结纯粹是个人想法,如有误,望指出
参考链接
参考 : GitHub开源集成学习(上) Datawhale

数据闲逛人

关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
打赏
0
评论
【集成学习（中）】My Task07_投票法的原理和案例分析笔记

投票法的思路一个零件发送电信号偶尔会出错,但是可以通过重复多次发送数据,以少数服从多数据的方法来确定正确的传输数据,毕竟出错的概率一般比较低拓展开来:回归模型: 投票法最终的预测结果,其他回归模型预测结果的平均值分类模型:硬投票法的预测结果是频数最多,即多个模型预测中出现次数最多的类别软投票对各类预测结果的概率进行求和,最终选取概率之和最大的类标签 (这里的各类应该是指多个模型–>得到多个模型对不同类型的预测概率)投票法的原理分析投票法是一种遵循少数服从多数原则的集成学习模型
复制链接

扫一扫