30分钟学会如何使用集成学习(什么是集成学习)

首先我们建造如下数据集,作为接下来的训练数据

  • 二维数据集
  • 500个样本,2个特征(0, 1)
import numpy as np
import matplotlib.pyplot as plt
## 创建数据集
from sklearn import datasets

x, y = datasets.make_moons(n_samples=500, noise=0.3, random_state=42)
plt.scatter(x[y==0,0],x[y==0,1])
plt.scatter(x[y==1,0],x[y==1,1])
plt.show()

在这里插入图片描述

一,什么是集成学习

集成学习的思想其实就是我们使用多个弱学习器一起解决一个问题,类似于“三个臭皮匠赛过诸葛亮”的道理。

首先,我们把数据集分为训练集和测试集

## 进行数据切分
from sklearn.model_selection import train_test_split

x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=42)

我们分别使用逻辑回归SVC决策树进行数据学习,并且分别得到他们每一个准确率。

from sklearn.linear_model import LogisticRegression

log_clf = LogisticRegression()
log_clf.fit(x_train, y_train)
log_clf.score(x_test, y_test)
>>>0.864
from sklearn.svm import SVC

svm_clf = SVC()
svm_clf.fit(x_train, y_train)
svm_clf.score(x_test, y_test)
>>>0.888
from sklearn.tree import DecisionTreeClassifier

df_clf = DecisionTreeClassifier()
df_clf.fit(x_train, y_train)
df_clf.score(x_test, y_test)
>>>0.84

接下来,再分别适用三个基学习器对测试集进行预测

## 分别得到三种基学习器的预测结果
y_predict1 = log_clf.predict(x_test)
y_predict2 = svm_clf.predict(x_test)
y_predict3 = df_clf.predict(x_test)

最后,我们通过投票的方式集成以上三种基学习器的学习结果

## 集成以上三种的预测数据,通过投票的方法得到集成结果
y_predict = np.array((y_predict1 + y_predict2 + y_predict3) >= 2,dtype=int)
y_predict[:10]
>>>array([1, 0, 0, 1, 1, 1, 0, 0, 0, 0])

通过计算集成学习的准确率可以看出,准确率有明显的提升,而这仅仅使用了500个样本和3个基学习器。

## 计算集成学习的准确率
from sklearn.metrics import accuracy_score

accuracy_score(y_test, y_predict)
>>>0.896

二,使用SKlearn中提供的集成学习器解决分类问题

2.1 Voting Classifier 投票集成

我们可以指定想用那几个基学习器,例如下面我们就指定选用了逻辑回归SVC决策树作为基学习器。

2.1.1 少数服从多数原则的投票集成-Hard Voting

这里我们依旧使用逻辑回归SVC决策树作为基学习器。
参数说明:

  • 使用哪几个基学习器 estimators = [ (‘名字1’, 基学习器1), (‘名字2’, 基学习器2)…]
  • voting=‘hard’ 表示使用简单地投票方法得到集成结果(少数服从多数原则,后边会提到考虑概率的投票方法)
from sklearn.ensemble import VotingClassifier

## 考虑我们要使用那些基学习器进行集成
estimators = [
    ('log_clf', LogisticRegression()),
    ('svm_clf', SVC()),
    ('df_clf', DecisionTreeClassifier(
  • 4
    点赞
  • 21
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值