【2021.04--集成学习（中）-Task08】bagging介绍

本次 DataWhale 第二十三期组队学习，其开源内容的链接为：https://github.com/datawhalechina/team-learning-data-mining/tree/master/EnsembleLearning

首先我们理解下boostrap，这是一种抽样思想，他的核心思路如下图：

bootstrap在小样本时效果很好，可以通过自身从重抽样估计真实分布。在bootstrap的基础上，在弱学习器的“准确性”和“多样性”上进行有侧重的关注:个体学习器间存在强依赖关系、必须串行生成的序列化方法与个体学习器间不存在强依赖关系、可同时生成的并行化方法。前者的代表是boosting，后者就是今天组队学习的内容——bagging。

Bagging时并行式集成学习方式的代表。通过n次随机采样操作，得到的训练集训练出n个基学习器，在根据一定的规则，如投票，得到最终结果。Bagging是一个高效的集成学习算法，且在偏差-方差的角度上，主要关注降低方差。下面是在一个bagging的实例。

# 构建数据集
from sklearn.datasets import make_classification

X, y = make_classification(n_samples=1000, n_features=20, n_informative=15, n_redundant=5, random_state=5)

print(X.shape, y.shape)

(1000, 20) (1000,)

import numpy as np
from sklearn.model_selection import cross_val_score, RepeatedStratifiedKFold
from sklearn.ensemble import BaggingClassifier

# 定义模型
model = BaggingClassifier()

# 划分验证集
cv = RepeatedStratifiedKFold(n_splits = 10, n_repeats = 3, random_state = 1)
# 交叉验证
n_scores = cross_val_score(model, X, y, scoring = 'accuracy', cv = cv, n_jobs = -1, error_score = 'raise')

print('Accuracy: %.3f (%.3f)' % (np.mean(n_scores), np.std(n_scores)))

Accuracy: 0.862 (0.041)

# 随机森林
from sklearn.model_selection import cross_val_score, RepeatedStratifiedKFold
from sklearn.ensemble import RandomForestClassifier

# 使用默认参数
rfc =  RandomForestClassifier()
cv = RepeatedStratifiedKFold(n_splits = 10, n_repeats = 3, random_state = 1)
n_scores = cross_val_score(rfc, X, y, scoring = 'accuracy', cv = cv, n_jobs = -1, error_score = 'raise')

print('Accuracy: %.3f (%.3f)' % (np.mean(n_scores), np.std(n_scores)))

Accuracy: 0.893 (0.039)

同时参考链接：总结：Bootstrap(自助法)，Bagging，Boosting(提升)