集成学习voting Classifier在sklearn中的实现（投票机制）

最新推荐文章于 2025-03-19 10:21:24 发布
最新推荐文章于 2025-03-19 10:21:24 发布
阅读量9.4k 收藏 94
点赞数 21
分类专栏： python系列 文章标签： 算法 人工智能 机器学习 python 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/youif/article/details/105201464
版权
本文深入探讨了机器学习中集成学习的投票机制，包括硬投票和软投票两种方式，通过实例代码展示了如何使用sklearn库实现VotingClassifier，并比较了不同投票方式下模型的准确性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录


机器学习的算法有很多，对于每一种机器学习算法，考虑问题的方式都略微有所不同，所以对于同一个问题，不同的算法可能会给出不同的结果，那么在这种情况下，我们选择哪个算法的结果作为最终结果呢？那么此时，我们完全可以把多种算法集中起来，让不同算法对同一种问题都进行预测，最终少数服从多数，这就是集成学习的思路。

接下来我们就来看看怎样用sklearn实现我们集成学习中的voting classifier

Voting即投票机制

Voting即投票机制，分为软投票和硬投票两种，其原理采用少数服从多数的思想。

1）使用方式

voting = ‘hard’：表示最终决策方式为 Hard Voting Classifier；
voting = ‘soft’：表示最终决策方式为 Soft Voting Classifier；

2）思想

Hard Voting Classifier：根据少数服从多数来定最终结果；
Soft Voting Classifier：将所有模型预测样本为某一类别的概率的平均值作为标准，概率最高的对应的类型为最终的预测结果；

Hard Voting

模型 1：A - 99%、B - 1%，表示模型 1 认为该样本是 A 类型的概率为 99%，为 B 类型的概率为 1%；
在这里插入图片描述

Soft Voting

将所有模型预测样本为某一类别的概率的平均值作为标准；
在这里插入图片描述

Hard Voting 投票方式的弊端：

如上图，最终的分类结果不是由概率值更大的模型 1 和模型 4 决定，而是由概率值相对较低的模型 2/3/5 来决定的；

硬投票代码

'''
硬投票：对多个模型直接进行投票，不区分模型结果的相对重要度，最终投票数最多的类为最终被预测的类。
'''
iris = datasets.load_iris()

x=iris.data
y=iris.target
x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.3)

clf1 = XGBClassifier(learning_rate=0.1, n_estimators=150, max_depth=3, min_child_weight=2, subsample=0.7
最低0.47元/天 解锁文章
投票分类器（Voting Classifier）实战：Python
BUG？不存在的！
05-07 621
总结一下：在本文中，我们使用Python构建了一个硬投票分类器，并将其应用于一个样本数据集以进行分类。投票分类器是一种集成学习方法，通过组合多个分类器的预测结果来生成最终的预测结果。在这个例子中，我们组合了三个不同类型的分类器，包括决策树分类器、K近邻分类器和逻辑回归分类器。投票分类器是一种集成学习方法，它通过组合多个单独的分类器来形成最终的预测结果。也就是说，投票分类器将根据每个分类器的预测结果，选择得票最多的结果作为最终的预测结果。这里，我们输入了三个新的样本数据，并获得了它们的分类预测结果。
VotingClassifier用法
zyoulanxin的博客
10-09 5633
""" 一、Hard Voting 与 Soft Voting 的对比 1）使用方式 voting = 'hard'：表示最终决策方式为 Hard Voting Classifier； voting = 'soft'：表示最终决策方式为 Soft Voting Classifier； 2）思想 Hard Voting Classifier：根据少数服从多数来定最终结果； Soft Voting Classifier：将所有模型预测样本为某一类别的概率的平均值作为标准，概率最高的对应的类型为最终的预测结
【机器学习】Sklearn 集成学习-投票分类器（VoteClassifier）
WHYbeHERE的博客
02-17 7139
本文介绍 sklearn 中 VoteClassifier的工作原理，并使用鸢尾花数据集作为示例，展示如何通过投票分类器提高整体模型的表现。
【scikit-learn】sklearn.ensemble.VotingClassifier 类：投票分类器
彬彬侠的博客
03-19 294
VotingClassifier是sklearn.ensemble提供的投票分类（Voting Classifier）模型，它通过集成多个不同的分类器提高分类性能，适用于二分类和多分类任务。VotingClassifier适用于分类任务，结合多个分类器投票，提高分类稳定性，支持硬投票和软投票，适用于不同模型的组合。
sklearn集成学习之VotingClassifier
风信子的猫Redamancy的快乐星球
12-01 1万+
在机器学习中，我们可以对KNN、逻辑回归、SVM、决策树、神经网络等预测的结果进行投票，少数服从多数最终决定预测结果。 在sklearn中提供了一个Voting Classifier的方法进行投票。这是属于集成学习的一种。Voting Classifier分为Hard和Soft两种方式。
VotingClassifier
weixin_34174322的博客
08-09 983
scores : array of float, shape=(len(list(cv)),) Array of scores of the estimator for each run of the cross validation. 关于scores：http://scikit-learn.org/stable/modules/cross_validation.html#cross-vali...
【模型】VotingClassifier
藓类少女的博客
07-30 1003
VotingClassifier 是一个用于集成学习的分类器，它结合了多个不同模型的预测结果，以提高整体的预测准确性和稳定性。集成学习的基本思想是通过结合多个弱分类器来创建一个强分类器。VotingClassifier 是 scikit-learn 库中的一个类，支持多种分类模型的集成。
【机器学习】Voting集成学习算法：分类任务中的新利器
richard_yuu的博客
04-27 1286
Voting集成学习算法的基本思想是通过将多个分类器的预测结果进行汇总，从而得出一个更加准确的分类结果。这一思想充分利用了不同分类器在特征提取和分类决策上的优势，实现了模型之间的互补和性能的提升。Voting算法不仅可以提高整体分类的准确率，还可以降低单一模型可能存在的过拟合或欠拟合风险。
sklearn集成学习
qq_39751437的博客
01-21 2944
特征工程，集成学习，特征选择
集成学习的投票机制（Voting mechanism about ensemble learning）
Carohuan的博客
09-27 4825
硬投票 如何训练多数规则分类器（硬投票）: #训练多数规则分类器： from sklearn import datasets from sklearn.model_selection import cross_val_score from sklearn.linear_model import LogisticRegression from sklearn.naive_bayes impor...
监督学习 | 集成学习 之Bagging、随机森林及Sklearn实现
侠的博客
08-22 1859
文章目录集成学习1. 投票分类器1.1 硬投票法1.2 软投票法2. Bagging & Pasting2.1 包外评估2.2 Random Patches 和 随机子空间3. 随机森林3.1 极端随机树3.2 特征重要性参考资料 相关文章： 机器学习 | 目录 监督学习 | 决策树原理及Python实现 监督学习 | 决策树之Sklearn实现 监督学习 | 集成学习之AdaBoost原...
融合机器学习算法：用VotingClassifier实现分类多模型的投票集成
FUYUJIAN1的博客
12-20 1647
在软投票分类器中，由于最终预测结果是基于模型预测概率的加权平均，这就要求每个参与投票的模型能够返回预测概率分布。使用硬投票和软投票分类器对测试集进行预测，并通过分类报告（classification_report）评估两种投票方式的分类性能，包括精确率、召回率和F1分数等指标，从结果中可以看出，软投票的总体准确率（accuracy）略高于硬投票（0.83 vs 0.82），并且在分类报告中，软投票在多个指标（如精确率和加权平均分数）上表现更优，表明软投票更好地综合了各模型的预测概率信息。
【机器学习】集成学习投票法：投票回归器(VotingRegressor) & 投票分类器（VotingClassifier）
WHYbeHERE的博客
02-26 8770
本文介绍 VotingRegressor 和VoteClassifier的工作原理，并使用鸢尾花和糖尿病数据集作为示例，分别展示如何使用投票分类器解决分类/回归任务。
集成学习voting Classifier在sklearn中的实现
热门推荐
m0_37725003的博客
07-20 1万+
      机器学习的算法有很多，对于每一种机器学习算法，考虑问题的方式都略微有所不同，所以对于同一个问题，不同的算法可能会给出不同的结果，那么在这种情况下，我们选择哪个算法的结果作为最终结果呢？那么此时，我们完全可以把多种算法集中起来，让不同算法对同一种问题都进行预测，最终少数服从多数，这就是集成学习的思路。     其实在我们的生活中，也经常会用到集成学习的思路。比如想买一件化妆品时找...
sklearn中的集成学习之Voting Classifier
weixin_44841467的博客
10-26 223
sklearn中的集成学习之Voting Classifier - 简书 (jianshu.com)
python 分类 投票_使用python+sklearn实现绘制VotingClassifier的决策边界
weixin_28720573的博客
01-01 1085
在鸢尾花(Iris)数据集的两个特征上绘制VotingClassifier的决策边界。绘制小型(toy)数据集中第一个样本的分类概率，该个概率首先是由三个不同分类器进行预测，然后这些预测结果通过VotingClassifier加权平均得出的。首先，对三个分类器进行初始化(DecisionTreeClassifier，KNeighborsClassifier和SVC)，并用权重[2, 1...
Datawhale 集成学习 Task02：集成学习之投票法与bagging
Andrew_zjc的博客
03-16 521
投票法的思路 投票法是集成学习中常用的技巧，可以帮助我们提高模型的泛化能力，减少模型的错误率。举个例子，在航空航天领域，每个零件发出的电信号都对航空器的成功发射起到重要作用。如果我们有一个二进制形式的信号： 11101100100111001011011011011 在传输过程中第二位发生了翻转 10101100100111001011011011011 这导致的结果可能是致命的。一个常用的纠错方法是重复多次发送数据，并以少数服从多数的方法确定正确的传输数据。一般情况下，错误总是发生在局部，因此融合多个数据
投票分类器VotingClassfier的使用
lisenpy的博客
09-16 3526
投票分类器有硬投票和软投票两种，硬投票是对结果进行投票，软投票是对多种结果的预测精度加权后取最高值投票。 这里使用硬投票举个例子 from sklearn.model_selection import train_test_split from sklearn.datasets import make_moons x,y=make_moons(n_samples=1000,noise=0.25,random_state=42) xtr,xte,ytr,yte=train_test_split(x,y,tes
91-SoftVoting Classifier
qq_41033011的博客
10-24 362
Soft Voting Classifier   上一篇博客我们看到对于集成学习来说，我们可以使用少数服从多数的方式集成多个模型算法进行处理，那么在这个过程中，我们接触到了一个概念，这种少数服从多数的投票的方式，叫做 Hard Voting。相应的其实还有一种更重要的方式：Soft Voting。   其实 Soft Voting 的思想也很简单。就是在很多情况下，少数服从多数其实不是最合理的。其实更合理的投票应该是对于不同的人来说是有权值的。那么最典型的例子就是网上有很多唱歌比赛的投票，专业的音乐评审他
集成学习Voting
最新发布
05-21
### 集成学习 Voting Classifier 的使用与原理 #### 原理介绍 Voting是一种简单的集成学习方法，它通过组合多个基础分类器的结果来提高预测性能。该方法的核心思想在于利用多数表决机制（对于分类任务），从而减少单一模型可能存在的偏差或方差问题[^2]。 在具体的实现过程中，Voting可以分为两种主要形式： - **Hard Voting**：最终的预测结果由所有基分类器的预测类别中占多数的那个决定[^5]。这意味着每个分类器只提供一个离散类标签作为输入。 - **Soft Voting**：除了考虑各个分类器的预测类别外，还会综合它们的概率估计值。即通过对各分类器输出概率加权平均后再选取最大概率对应的类别作为最终预测结果[^4]。 为了使这种方法有效工作，在构建投票集合时应确保所选的基础分类器之间存在一定的差异性和互补性[^1]。 #### 实现案例 以下是基于Python Scikit-Learn库的一个简单例子展示了如何创建并训练一个Voting Classifier： ```python from sklearn import datasets from sklearn.model_selection import train_test_split from sklearn.ensemble import RandomForestClassifier from sklearn.svm import SVC from sklearn.linear_model import LogisticRegression from sklearn.ensemble import VotingClassifier from sklearn.metrics import accuracy_score # 加载数据集 iris = datasets.load_iris() X, y = iris.data, iris.target # 划分训练集测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42) # 定义不同的分类器 clf1 = LogisticRegression(random_state=1) clf2 = RandomForestClassifier(n_estimators=50, random_state=1) clf3 = SVC(probability=True, random_state=1) # 创建投票分类器 (这里采用 soft voting 方法) eclf = VotingClassifier( estimators=[('lr', clf1), ('rf', clf2), ('svc', clf3)], voting='soft' ) # 训练模型 for clf, label in zip([clf1, clf2, clf3, eclf], ['Logistic Regression', 'Random Forest', 'SVM', 'Ensemble']): clf.fit(X_train, y_train) y_pred = clf.predict(X_test) print(f"{label} Accuracy: {accuracy_score(y_test, y_pred):.2f}") ``` 此代码片段定义了一个包含逻辑回归、随机森林和支持向量机三种不同类型的分类器组成的投票系统，并比较了单独运行这些分类器以及整体作为一个集成后的表现情况。 #### 注意事项 尽管Voting方法易于理解和实施，但在实际操作中有几点需要注意： - 各子模型间应当具备足够的多样性； - 对于软投票而言，要求所有的成员都能给出可靠的置信度评分(通常意味着需要启用`probability=True`)选项给像SVC这样的某些算法[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值