Python遇见机器学习 ---- 集成学习 Ensemble Learning

最新推荐文章于 2024-03-06 13:51:35 发布

小王曾是少年

最新推荐文章于 2024-03-06 13:51:35 发布

阅读量926

点赞数 1

分类专栏： Python遇见机器学习文章标签：随机森林集成学习

本文链接：https://blog.csdn.net/HNU_Csee_wjw/article/details/88979367

版权

本文深入探讨集成学习的概念，包括Voting Classifier、Soft Voting、Bagging、Pasting、随机森林、Extra-Trees和Boosting方法。通过实例展示了如何利用Python实现集成学习，提高模型的稳定性和准确性，特别强调了随机森林和软投票在解决分类问题中的应用。

摘要由CSDN通过智能技术生成

综述

“余既滋兰之九畹兮，又树蕙之百亩”

本文采用编译器：jupyter

集成学习 (ensemble learning)通过构建并结合多个学习器来完成学习任务。下图显示出集成学习的一般结构，先产生一组"个体学习器"，然后再通过某种方式将他们结合起来解决一个问题。

在日常生活中也充满着集成学习的例子：比如“买东西找人推荐”“专家会诊确定病情”等。

个体学习器由常见的机器学习模型构成，采用投票方式决定最终结果，为了达到“集成”的目的，个体学习器应具有差异性。

01 集成学习

import numpy as np
import matplotlib.pyplot as plt

from sklearn import datasets

X, y = datasets.make_moons(n_samples=500, noise=0.3, random_state=42)

plt.scatter(X[y==0,0], X[y==0,1])
plt.scatter(X[y==1,0], X[y==1,1])
plt.show()

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=42)

# 使用逻辑回归分类
from sklearn.linear_model import LogisticRegression

log_clf = LogisticRegression()
log_clf.fit(X_train, y_train)
log_clf.score(X_test, y_test)
# Out[5]:
# 0.86399999999999999

# 使用SVM方式分类
from sklearn.svm import SVC

svm_clf = SVC()
svm_clf.fit(X_train, y_train)
svm_clf.score(X_test, y_test)
# Out[6]:
# 0.88800000000000001

# 使用决策树进行预测
from sklearn.tree import DecisionTreeClassifier

dt_clf = DecisionTreeClassifier()
dt_clf.fit(X_train, y_train)
dt_clf.score(X_test, y_test)
# Out[7]:
# 0.872

# 集成学习，少数服从多数过程
y_predict1 = log_clf.predict(X_test)
y_predict2 = svm_clf.predict(X_test)
y_predict3 = dt_clf.predict(X_test)

y_predict = np.array((y_predict1 + y_predict2 + y_predict3) >= 2, dtype='int')

y_predict[:10]
# Out[10]:
# array([1, 0, 0, 1, 1, 1, 0, 0, 0, 0])

from sklearn.metrics import accuracy_score

accuracy_score(y_test, y_predict)
# 可以看出分类准确率比三种单独的方法要高
# Out[11]:
# 0.90400000000000003

使用Voting Classifier

from sklearn.ensemble import VotingClassifier

# 创建对象时，传入估计器
voting_clf = VotingClassifier(estimators=[
    ('log_clf', LogisticRegression()),
    ('svm_clf', SVC()),
    ('dt_clf', DecisionTreeClassifier())
], voting='hard')

voting_clf.fit(X_train, y_train)
"""
Out[13]:
VotingClassifier(estimators=[('log_clf', LogisticRegression(C=1.0, class_weight=None, dual=False, fit_intercept=True,
          intercept_scaling=1, max_iter=100, multi_class='ovr', n_jobs=1,
          penalty='l2', random_state=None, solver='liblinear', tol=0.0001,
          verbose=0, warm_start=False)), ('svm_clf...      min_weight_fraction_leaf=0.0, presort=False, random_state=None,
            splitter='best'))],
         flatten_transform=None, n_jobs=1, voting='hard', weights=None)
"""

voting_clf.score(X_test, y_test)
# Out[14]:
# 0.90400000000000003