Datawhale集成学习：Bagging的原理和案例分析

前言

在集成学习中，一般是希望各个模型之间具有较大的差异性。但是实际操作中却的模型却往往是同质的。既然对模型上入手比较难，倒不如从数据上入手，通过不同的采样增加模型的差异性。

bagging (Bootstrap Aggregating) 的原理分析

bagging的核心在于 自助采样(bootstrap) 这一概念，即有放回的从数据集中进行采样。

这样做的好处在于能够降低数据的方差。

举例是说：我们随机取出一个样本放入采样集合中，再把这个样本放回初始数据集，重复K次采样，最终我们可以获得一个大小为K的样本集合。同样的方法， 我们可以采样出T个含K个样本的采样集合，然后基于每个采样集合训练出一个基学习器，再将这些基学习器进行结合，这就是Bagging的基本流程。

回归问题中：是通过预测取平均值来进行的

分类问题中：是通过对预测取多数票预测来进行的

优点：Bagging方法之所以有效，是因为每个模型都是在略微不同的训练数据集上拟合完成的，这又使得每个基模型之间存在略微的差异，使每个基模型拥有略微不同的训练能力。，因此它在不剪枝决策树、神经网络等易受样本扰动的学习器上效果更加明显。

随机森林（Random Forest）

在决策树模型中，分为 回归决策树 和 分类决策树。
通过bagging的思想，可以将 决策树作为基学习器来实现bagging的学习方法，于是多颗树在一起就组成了森林的概念，同时对每棵树的数据是从有放回的从数据集中进行采样自助采样(bootstrap)。
随机森林的优点是：

1. 可以出来很高维度（特征很多）的数据，并且不用降维，无需做特征选择
2. 可以判断特征的重要程度
3. 可以判断出不同特征之间的相互影响
4. 不容易过拟合
5. 训练速度比较快，容易做成并行方法
6. 实现起来比较简单
7. 对于不平衡的数据集来说，它可以平衡误差。
8. 如果有很大一部分的特征遗失，仍可以维持准确度。

随机森林的缺点是：

1. 随机森林已经被证明在某些噪音较大的分类或回归问题上会过拟合。
2. 对于有不同取值的属性的数据，取值划分较多的属性会对随机森林产生更大的影响，所以随机森林在这种数据上产出的属性权值是不可信的

Bagging 实例

# 引入所需要的包
from numpy import mean
from numpy import std
from sklearn.datasets import make_classification
from sklearn.model_selection import cross_val_score
from sklearn.model_selection import RepeatedStratifiedKFold
from sklearn.ensemble import BaggingClassifier

创建1000各样本20维特征的随机分类数据集

X, y = make_classification(n_samples=1000, n_features=20, n_informative=15,n_redundant=5, random_state=5)
print(X.shape, y.shape)

(1000, 20) (1000,)

重复分层K-fold 交叉验证评估模型-模型为bagging

# 一共重复3次，每次10fold,评估模型在所有重复交叉验证中性能的平均值和标准差
# define model
model = BaggingClassifier()
# evaluate the model
cv = RepeatedStratifiedKFold(n_splits=10, n_repeats=3, random_state=1)
n_scores = cross_val_score(model, X, y, scoring='accuracy', cv=cv, n_jobs=-1, error_score='raise')
# repeat performance
print("Accuracy: %.3f (%.3f)" %